Como dijo @snow, no puedes hacer que el fondo sea transparente, pero puedes hacer que su opacidad sea 0
algo como esto:

 audio{ opacity: 0%; }

¿Es posible cambiar solo usando CSS? la respuesta corta es no, NO es posible. Un reproductor de audio es un objeto creado por el propio navegador, por eso se ve diferente según el navegador que utilices.

Puede aplicar el mismo color de fondo a la etiqueta de audio si el fondo principal o del cuerpo es blanco, debe aplicar lo mismo para el audio

 audio::-webkit-media-controls-play-button, audio::-webkit-media-controls-panel { background-color: #fff; color: #fff; }