CrawlWitnessTäglicher KI-Einwilligungsbericht · 2026-11-01
Wie die meistbesuchten Websites der Welt heute mit KI-Bots umgehen und was sich geändert hat. (1,542 · Tranco)
15%behalten KI-Training vor
16%blockieren GPTBot
15%blockieren ClaudeBot
14%blockieren Google-Extended
17%blockieren CCBot
Letzte Änderungen
| github.com | KI-Training | Kein Signal → Kein Signal |
| github.com | RAG und KI-Antworten | Kein Signal → Kein Signal |
| github.com | KI-Suche | Kein Signal → Kein Signal |
| wikipedia.org | KI-Training | Kein Signal → Kein Signal |
| wikipedia.org | RAG und KI-Antworten | Kein Signal → Kein Signal |
| wikipedia.org | KI-Suche | Kein Signal → Kein Signal |
Wichtige KI-Bots in robots.txt
| Bot | Betreiber | Blockiert | Teilweise blockiert |
|---|---|---|---|
GPTBot | OpenAI | 16% | 47% |
ClaudeBot | Anthropic | 15% | 47% |
Google-Extended | 14% | 49% | |
CCBot | Common Crawl | 17% | 47% |
Applebot-Extended | Apple | 13% | 51% |
meta-externalagent | Meta | 14% | 50% |
Bytespider | ByteDance | 17% | 47% |
PerplexityBot | Perplexity | 11% | 50% |
OAI-SearchBot | OpenAI | 7% | 54% |
ChatGPT-User | OpenAI | 9% | 52% |
Gefundene Signale
| AIPREF (IETF) | 0% |
| Content-Signal | 4% |
| TDMRep | 1% |
| RSL 1.0 | 0% |
| llms.txt | 15% |
Täglicher KI-Einwilligungsbericht
| behalten KI-Training vor | Letzte Änderungen | |
|---|---|---|
| 2026-11-01 | 15% | 6 |