Gerador robots.txt

Crie um robots.txt com regras allow/disallow para crawlers.

Entrada

Saída

Ferramentas Sugeridas

Gerador de Meta Tags
Gere meta tags HTML para título, description e campos SEO básicos.
Gerador Open Graph
Gere meta tags Open Graph para pré-visualizações ricas em redes sociais.
Gerador sitemap.xml
Gere um sitemap.xml básico com lista de URLs para descoberta por motores de busca.

Gerador robots.txt ajuda a rascunhar regras de crawl antes de publicar na raiz do site.

Defina paths e user-agents se disponíveis, execute e copie o conteúdo robots.txt.

Ativa o JavaScript.