CrawlWitnessInforme diario de consentimiento para IA · 2026-11-01
Cómo tratan hoy las webs más visitadas del mundo a los bots de IA y qué ha cambiado. (1,542 · Tranco)
15%reservan el entrenamiento de IA
16%bloquean a GPTBot
15%bloquean a ClaudeBot
14%bloquean a Google-Extended
17%bloquean a CCBot
Cambios recientes
| github.com | Entrenamiento de IA | Sin señal → Sin señal |
| github.com | RAG y respuestas de IA | Sin señal → Sin señal |
| github.com | Búsqueda con IA | Sin señal → Sin señal |
| wikipedia.org | Entrenamiento de IA | Sin señal → Sin señal |
| wikipedia.org | RAG y respuestas de IA | Sin señal → Sin señal |
| wikipedia.org | Búsqueda con IA | Sin señal → Sin señal |
Principales bots de IA en robots.txt
| Bot | Empresa | Bloqueado | Bloqueo parcial |
|---|---|---|---|
GPTBot | OpenAI | 16% | 47% |
ClaudeBot | Anthropic | 15% | 47% |
Google-Extended | 14% | 49% | |
CCBot | Common Crawl | 17% | 47% |
Applebot-Extended | Apple | 13% | 51% |
meta-externalagent | Meta | 14% | 50% |
Bytespider | ByteDance | 17% | 47% |
PerplexityBot | Perplexity | 11% | 50% |
OAI-SearchBot | OpenAI | 7% | 54% |
ChatGPT-User | OpenAI | 9% | 52% |
Señales encontradas
| AIPREF (IETF) | 0% |
| Content-Signal | 4% |
| TDMRep | 1% |
| RSL 1.0 | 0% |
| llms.txt | 15% |
Informe diario de consentimiento para IA
| reservan el entrenamiento de IA | Cambios recientes | |
|---|---|---|
| 2026-11-01 | 15% | 6 |