¿Hay alguna manera de evitar que las personas vean el código fuente de Javascript que incluye la clave API del servidor y la información del servidor?
No no hay.
Puede ofuscar y minimizar su código, pero eso no ayuda, ya que sus usuarios pueden mirar el Inspector de red de su navegador.