Actualmente estoy trabajando en una aplicación creada con Express. He intentado implementar robots.txt .

Esto es lo que tengo ahora mismo:

 app.use( '/robots.txt', function (req, res) { res.type('text/plain'); res.send("User-agent: *\nAllow: /\nDisallow: /search") ); });

Si bien puedo ver los resultados en el sitio web, la búsqueda de Google me da la advertencia:

Indexado, aunque bloqueado por robots.txt

¿Estoy haciendo algo mal o hay una mejor manera de implementar el archivo robots.txt ?