CrawlWitnessAI 授权每日报告 · 2026-11-01
全球热门网站当前如何对待 AI 爬虫，以及发生了哪些变化。 (1,542 · Tranco)
15%保留 AI 训练
16%禁止 GPTBot
15%禁止 ClaudeBot
14%禁止 Google-Extended
17%禁止 CCBot
最近变更
| github.com | AI 训练 | 无信号 → 无信号 |
| github.com | RAG 与 AI 回答 | 无信号 → 无信号 |
| github.com | AI 搜索 | 无信号 → 无信号 |
| wikipedia.org | AI 训练 | 无信号 → 无信号 |
| wikipedia.org | RAG 与 AI 回答 | 无信号 → 无信号 |
| wikipedia.org | AI 搜索 | 无信号 → 无信号 |
robots.txt 中的主要 AI 爬虫
| 爬虫 | 运营方 | 禁止 | 部分禁止 |
|---|---|---|---|
GPTBot | OpenAI | 16% | 47% |
ClaudeBot | Anthropic | 15% | 47% |
Google-Extended | 14% | 49% | |
CCBot | Common Crawl | 17% | 47% |
Applebot-Extended | Apple | 13% | 51% |
meta-externalagent | Meta | 14% | 50% |
Bytespider | ByteDance | 17% | 47% |
PerplexityBot | Perplexity | 11% | 50% |
OAI-SearchBot | OpenAI | 7% | 54% |
ChatGPT-User | OpenAI | 9% | 52% |
发现的信号
| AIPREF (IETF) | 0% |
| Content-Signal | 4% |
| TDMRep | 1% |
| RSL 1.0 | 0% |
| llms.txt | 15% |
AI 授权每日报告
| 保留 AI 训练 | 最近变更 | |
|---|---|---|
| 2026-11-01 | 15% | 6 |