Gerador de Robots.txt para SEO
Configure as diretivas de rastreamento do seu site com segurança para evitar problemas de indexação.
Onde colocar o arquivo robots.txt no servidor?
O arquivo deve ser publicado obrigatoriamente na pasta raiz pública do seu site, ficando acessível em https://seudominio.com.br/robots.txt.
Perguntas Frequentes (FAQ)
O que é o arquivo robots.txt e qual a sua função em SEO? ▼
O robots.txt é um arquivo de texto localizado na raiz do domínio que orienta os rastreadores de mecanismos de busca (Googlebot, Bingbot) sobre quais áreas e diretórios do site podem ou não ser rastreados.
O robots.txt pode desindexar meu site inteiro do Google? ▼
Sim! Se você colocar a diretiva 'Disallow: /' para o User-agent: *, o Googlebot será proibido de rastrear qualquer página do site. Nossos presets foram testados para evitar esse erro fatal.
Devo bloquear bots de IA como GPTBot e CCBot? ▼
Caso não queira que modelos de inteligência artificial utilizem o conteúdo do seu site para treinamento de IA sem autorização, você pode ativar o bloqueio específico desses bots com 1 clique.