CrawlWitnessRelatório diário de consentimento para IA · 2026-11-01
Como os sites mais visitados do mundo tratam hoje os bots de IA e o que mudou. (1,542 · Tranco)
15%reservam o treino de IA
16%bloqueiam GPTBot
15%bloqueiam ClaudeBot
14%bloqueiam Google-Extended
17%bloqueiam CCBot
Alterações recentes
| github.com | Treino de IA | Sem sinal → Sem sinal |
| github.com | RAG e respostas de IA | Sem sinal → Sem sinal |
| github.com | Pesquisa com IA | Sem sinal → Sem sinal |
| wikipedia.org | Treino de IA | Sem sinal → Sem sinal |
| wikipedia.org | RAG e respostas de IA | Sem sinal → Sem sinal |
| wikipedia.org | Pesquisa com IA | Sem sinal → Sem sinal |
Principais bots de IA no robots.txt
| Bot | Operador | Bloqueado | Bloqueio parcial |
|---|---|---|---|
GPTBot | OpenAI | 16% | 47% |
ClaudeBot | Anthropic | 15% | 47% |
Google-Extended | 14% | 49% | |
CCBot | Common Crawl | 17% | 47% |
Applebot-Extended | Apple | 13% | 51% |
meta-externalagent | Meta | 14% | 50% |
Bytespider | ByteDance | 17% | 47% |
PerplexityBot | Perplexity | 11% | 50% |
OAI-SearchBot | OpenAI | 7% | 54% |
ChatGPT-User | OpenAI | 9% | 52% |
Sinais encontrados
| AIPREF (IETF) | 0% |
| Content-Signal | 4% |
| TDMRep | 1% |
| RSL 1.0 | 0% |
| llms.txt | 15% |
Relatório diário de consentimento para IA
| reservam o treino de IA | Alterações recentes | |
|---|---|---|
| 2026-11-01 | 15% | 6 |