No estoy seguro de si esto es intencionado o lo configuré incorrectamente.
Configuré mi base de datos PostgreSQL sin servidor de Aurora para que se detuviera después de 5 minutos de inactividad.
El problema es que cada vez que trato de acceder después de que se detuvo, el servidor tarda casi 1 minuto en responder por primera vez.
¿Hay alguna configuración que pueda hacer para solucionar esto además de deshabilitar la pausa?
sí, ese es uno de los principales problemas cuando se aprovecha la pausa, pero la desventaja es que lleva tiempo calentarse, puede extender la pausa un poco más de cinco minutos, por lo que siempre se calentará como si creara una conexión durante el tiempo, por lo que el temporizador se restablecerá por inactividad.
Expanda la sección Configuración de escalado adicional. Puede deshabilitar la pausa del clúster desmarcando la casilla de verificación Pausar la capacidad de cómputo después de minutos consecutivos de inactividad . Con los cuadros de lista desplegable de horas, minutos y segundos, puede cambiar la duración del tiempo de inactividad hasta que el clúster se detiene. De manera predeterminada , su clúster se detendrá después de 5 minutos consecutivos de inactividad .
configure-connect-serverless-mysql-database-aurora
Seleccione RDS -> instancia de base de datos -> base de datos -> configuración 
24 horas es el tiempo máximo , puede configurar algo más bajo que esto, pero si hay una conexión al menos en 24 horas, siempre será calentamiento.