Empresas
Empregos
  • Sobre nós
  • Soluções
    • Publicação de vagas
      Publique sua vaga e receba candidatos qualificados em 48h.
    • Avaliações de candidatos
      Mais de 500 testes técnicos e psicológicos, mais anti-fraude.
    • Headhunting
      Busca executiva personalizada do início ao fim.
    • Folha de Pagamento + EOR
      Dispersão de folha e EOR em mais de 15 países da LATAM.
  • Preços
  • Empregos

0

212
Visualizações
Node JS Express robots.txt disallows only /search but Google Search Console reports "indexed, though blocked by robots.txt" for other URLs

I'm currently working on an application built with Express. I have tried to implement robots.txt.

This is what I have right now:

app.use(
    '/robots.txt', 
    function (req, res) {
        res.type('text/plain');
        res.send("User-agent: *\nAllow: /\nDisallow: /search")
     );
 });

While I am able to see the results in the website, google search is giving me the warning:

Indexed, though blocked by robots.txt

Am I doing something wrong or is there a better way to implement the robots.txt file?

about 4 years ago · Juan Pablo Isaza
Responde à pergunta
Encontrar trabalhos remotos

Descubra a nova forma de encontrar um emprego!

melhores empregos
Principais categorias de trabalho
Empresas
Postar vaga Preços Comercial
Jurídico
Termos e Condições Política de privacidade
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Recomende algumas ofertas para mim
Preciso de ajuda