CrawlWitnessdome9.com: Darf KI diese Website nutzen?
Was dome9.com heute KI-Bots mitteilt, gelesen aus robots.txt und den neuen Einwilligungsstandards, täglich geprüft und von CrawlWitness signiert.
Analysiert: 2026-11-15 22:16 UTC · Weltweiter Rang (Tranco) #9,414
Wichtige KI-Bots in robots.txt
| Bot | Betreiber | Zugriff |
|---|---|---|
GPTBot | OpenAI | Erlaubt |
ClaudeBot | Anthropic | Erlaubt |
Google-Extended | Erlaubt | |
Applebot-Extended | Apple | Erlaubt |
meta-externalagent | Meta | Erlaubt |
Bytespider | ByteDance | Erlaubt |
CCBot | Common Crawl | Erlaubt |
OAI-SearchBot | OpenAI | Erlaubt |
PerplexityBot | Perplexity | Erlaubt |
ChatGPT-User | OpenAI | Erlaubt |
Gefundene Signale
| AIPREF (IETF) | — |
| Content-Signal | — |
| TDMRep | — |
| RSL 1.0 | — |
| llms.txt | — |
Notarielle Historie
8 Versionen seit 2026-11-08 erfasst; letzte Änderung 2026-11-11. Jede Version ist signiert und auf Base verankert. /v1/historial/dome9.com
Letzte Änderungen
| 2026-11-13 | Bytespider | Teilweise blockiert → Erlaubt |
| 2026-11-13 | meta-externalagent | Teilweise blockiert → Erlaubt |
| 2026-11-13 | Applebot-Extended | Teilweise blockiert → Erlaubt |
| 2026-11-13 | llms.txt | ✓ → — |
| 2026-11-13 | KI-Training | Erlaubt → Kein Signal |
| 2026-11-11 | Bytespider | Erlaubt → Teilweise blockiert |
| 2026-11-11 | meta-externalagent | Erlaubt → Teilweise blockiert |
| 2026-11-11 | Applebot-Extended | Erlaubt → Teilweise blockiert |
| 2026-11-11 | llms.txt | — → ✓ |
| 2026-11-11 | KI-Training | Kein Signal → Erlaubt |
Bedeutung je nach Rechtsordnung
EU: Kommerzielles Text- und Data-Mining ist erlaubt, sofern der Rechteinhaber es nicht maschinenlesbar vorbehalten hat (Art. 4 Abs. 3 Richtlinie 2019/790). Anbieter von KI-Modellen mit allgemeinem Verwendungszweck müssen diese Vorbehalte beachten (Art. 53 KI-VO), seit August 2026 von der Kommission durchsetzbar.
Vereinigtes Königreich: Die Data-Mining-Ausnahme gilt nur für nicht-kommerzielle Forschung. 2026 verwarf die Regierung die geplante Opt-out-Ausnahme; kommerzielles KI-Training braucht daher in der Regel eine Lizenz.
USA: Es gibt kein gesetzliches Opt-out; ob Training Fair Use ist, entscheiden die Gerichte. Signale wie robots.txt belegen, was der Inhaber erlaubt hat.
Japan: Art. 30-4 erlaubt KI-Training weitgehend, außer bei unangemessener Beeinträchtigung des Rechteinhabers; technische Maßnahmen wie robots.txt können dabei zählen.
Information, keine Rechtsberatung.
Gehört Ihnen dome9.com? Verifizieren Sie die Domain, signieren Sie Ihre KI-Erklärung und erhalten Sie ein datiertes Beweiszertifikat.
CrawlWitness Publisher · 7 days freeSie entwickeln KI oder crawlen das Web? Prüfen Sie Tausende Domains per API, MCP oder x402 und zahlen Sie pro Abfrage.
API · MCP · x402 · 7 days free