CrawlWitnessAI利用同意の日次レポート · 2026-11-01
世界の主要サイトが現在AIボットをどう扱っているか、そして何が変わったか。 (1,542 · Tranco)
15%AI学習を留保
16%GPTBotを拒否
15%ClaudeBotを拒否
14%Google-Extendedを拒否
17%CCBotを拒否
最近の変更
| github.com | AI学習 | シグナルなし → シグナルなし |
| github.com | RAG・AI回答 | シグナルなし → シグナルなし |
| github.com | AI検索 | シグナルなし → シグナルなし |
| wikipedia.org | AI学習 | シグナルなし → シグナルなし |
| wikipedia.org | RAG・AI回答 | シグナルなし → シグナルなし |
| wikipedia.org | AI検索 | シグナルなし → シグナルなし |
robots.txtにおける主要AIボット
| ボット | 運営者 | 拒否 | 一部拒否 |
|---|---|---|---|
GPTBot | OpenAI | 16% | 47% |
ClaudeBot | Anthropic | 15% | 47% |
Google-Extended | 14% | 49% | |
CCBot | Common Crawl | 17% | 47% |
Applebot-Extended | Apple | 13% | 51% |
meta-externalagent | Meta | 14% | 50% |
Bytespider | ByteDance | 17% | 47% |
PerplexityBot | Perplexity | 11% | 50% |
OAI-SearchBot | OpenAI | 7% | 54% |
ChatGPT-User | OpenAI | 9% | 52% |
検出されたシグナル
| AIPREF (IETF) | 0% |
| Content-Signal | 4% |
| TDMRep | 1% |
| RSL 1.0 | 0% |
| llms.txt | 15% |
AI利用同意の日次レポート
| AI学習を留保 | 最近の変更 | |
|---|---|---|
| 2026-11-01 | 15% | 6 |