# ----------------------------------------------------
# VISITAR BRASIL ROBOTS.TXT (Otimizado para SEO)
# ----------------------------------------------------

# 1. PUBLICO GERAL / MECANISMOS DE BUSCA PRINCIPAIS
# O User-agent: * e o agente que representa o publico geral (Googlebot, Bingbot, etc.).
# Permite o rastreamento em todas as paginas, exceto nas pastas administrativas.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

# Permite acesso ao arquivo vital (admin-ajax.php)
Allow: /wp-admin/admin-ajax.php

# ----------------------------------------------------
# 2. FERRAMENTAS DE ANALISE SEO (ESSENCIAIS PARA O RANKING)
# E crucial permitir AhrefsBot e SemrushBot para auditoria e monitoramento.
User-agent: AhrefsBot
Allow: /

User-agent: SemrushBot
Allow: /

# ----------------------------------------------------
# 3. BLOQUEIO ESPECIFICO (Para IA Generativa e Scraping Pesado)
# Estes blocos protegem seu conteudo contra bots que nao contribuem para o seu ranking publico.
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Sogou
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: Yandex
Disallow: /

# ----------------------------------------------------
# 4. SITEMAP
Sitemap: https://visitarbrasil.com.br/sitemap_index.xml