Estoy usando nginx y pm2 para servir una aplicación nuxt (SSR). Traté de usar el módulo de mapa del sitio y el módulo robot.txt .
El módulo del mapa del sitio funciona bien y se puede acceder a él en /sitemap.xml .
Sin embargo, no se puede acceder al archivo robots.txt a través de nginx. Usar nuxt build y nuxt start en local funciona bien y tengo acceso a /robots.txt . Pero usando nginx tengo un 404. No el Nuxt 404 sino el nginx. Todas las demás URL inexistentes muestran el Nuxt 404
El uso de Nuxt SSR y el módulo de robot no genera un archivo robots.txt . Es un middleware y la respuesta a la url /robots.txt se genera dinámicamente en cada solicitud
¿Por qué tengo ese 404 con el módulo robot pero no con el sitemap?
Gracias por tu ayuda.
Para entregar rápidamente un archivo robots.txt desde Nginx sin tener acceso al archivo físico, puede definir el contenido del archivo robots.txt en el archivo .conf de Nginx.
Permitir el acceso a todos los agentes de usuario:
location /robots.txt {return 200 "User-agent: *\nDisallow:\n";}No permitir el acceso a todos los agentes de usuario:
location /robots.txt {return 200 "User-agent: *\nDisallow: /\n";}Estoy usando Google Cloud App Engine (GAE), que también usa Nginx para alojar mi aplicación Nuxt.js y tuve el mismo problema que el suyo: puedo acceder a mi sitemap.xml a diferencia de robots.txt.
Para la configuración de GAE, uso un archivo app.yaml donde, entre todas las configuraciones, puede establecer controladores para archivos estáticos. Puede establecer explícitamente que las solicitudes de archivos estáticos se atenderán desde una carpeta 'estática' de Nuxt. Como siempre, los tipos de archivos potencialmente solicitados se establecen como una expresión regular que muestra una lista de extensiones de archivo (por ejemplo, .(gif|png|txt)$).
En mi caso, tengo un archivo '.txt' entre otros archivos estáticos para servir desde la carpeta 'estática' de Nuxt. Es por eso que Nginx estaba buscando mi archivo robots.txt directamente en la carpeta 'estática' y no le dio la oportunidad a Nuxt de generarlo. Entonces, cuando eliminé la extensión '.txt', todo funcionó bien y ahora puedo obtener mi archivo robots.txt.
No estoy familiarizado con la configuración de Nginx, pero tal vez debería verificar qué extensiones de archivos estáticos está sirviendo y excluir una extensión '.txt' de la carpeta 'estática' de Nuxt.