Gerador de robots.txt
Escolha o robô, os caminhos bloqueados e liberados e o sitemap, e copie o robots.txt pronto.
- Roda no seu navegador
Resultado
O resultado aparece aqui.
Diretivas que o arquivo usa
- User-agent: abre o grupo e diz a qual robô as regras valem; este gerador escreve um grupo por arquivo.
- Disallow: caminho que o robô não deve rastrear; começa com barra e aceita * e um $ no fim.
- Allow: exceção dentro de um caminho bloqueado; prevalece a regra mais específica.
- Sitemap: endereço do sitemap, opcional.
Sem nenhuma regra, o arquivo sai com um Disallow vazio, que libera tudo.
Resultados de referência: robots.txt
| Escolhas | Arquivo gerado |
|---|---|
| nenhuma regra | User-agent: * Disallow: |
| bloquear /admin/ | User-agent: * Disallow: /admin/ |
| bloquear /admin/ e liberar /admin/ajuda/ | User-agent: * Allow: /admin/ajuda/ Disallow: /admin/ |
| bloquear PDFs por padrão | User-agent: * Disallow: /*.pdf$ |
| só para o Googlebot | User-agent: Googlebot Disallow: /privado/ |
O que o robots.txt não faz
- Não garante a saída do índice: uma URL bloqueada ainda pode aparecer nos resultados se outras páginas apontarem para ela. Para tirá-la, use noindex em página que o robô consiga rastrear.
- Não é segurança: o arquivo é público e mostra justamente o que você quer esconder. Proteja áreas privadas com login.
- Os robôs respeitam por convenção; um robô mal-intencionado pode ignorar o arquivo.
Perguntas frequentes
Como bloquear uma URL no robots.txt?
Escreva o caminho em Disallow, começando com barra, como em: User-agent: * Disallow: /admin/. Isso pede ao robô que não rastreie a página; não a remove do índice.
Como criar um robots.txt online?
Preencha os caminhos separados por vírgula, copie o resultado e salve como robots.txt na raiz do domínio. Cada subdomínio precisa do seu arquivo.
Quais são exemplos de robots.txt?
Liberar tudo: User-agent: * Disallow:. Bloquear uma pasta: User-agent: * Disallow: /admin/. A tabela acima traz outros casos.