CrawlWitness

Rapport quotidien sur le consentement IA · 2026-11-01

Comment les sites les plus visités au monde traitent aujourd'hui les robots d'IA, et ce qui a changé. (1,542 · Tranco)

15%réservent l'entraînement d'IA
16%bloquent GPTBot
15%bloquent ClaudeBot
14%bloquent Google-Extended
17%bloquent CCBot

Changements récents

github.comEntraînement d'IAAucun signal → Aucun signal
github.comRAG et réponses d'IAAucun signal → Aucun signal
github.comRecherche par IAAucun signal → Aucun signal
wikipedia.orgEntraînement d'IAAucun signal → Aucun signal
wikipedia.orgRAG et réponses d'IAAucun signal → Aucun signal
wikipedia.orgRecherche par IAAucun signal → Aucun signal

Principaux robots d'IA dans robots.txt

RobotOpérateurBloquéPartiellement bloqué
GPTBotOpenAI16%47%
ClaudeBotAnthropic15%47%
Google-ExtendedGoogle14%49%
CCBotCommon Crawl17%47%
Applebot-ExtendedApple13%51%
meta-externalagentMeta14%50%
BytespiderByteDance17%47%
PerplexityBotPerplexity11%50%
OAI-SearchBotOpenAI7%54%
ChatGPT-UserOpenAI9%52%

Signaux trouvés

AIPREF (IETF)0%
Content-Signal4%
TDMRep1%
RSL 1.00%
llms.txt15%

Rapport quotidien sur le consentement IA

réservent l'entraînement d'IAChangements récents
2026-11-0115%6

Atom feed · Dataset (CSV, CC BY 4.0)