CrawlWitnessfb.com: Darf KI diese Website nutzen?
Was fb.com heute KI-Bots mitteilt, gelesen aus robots.txt und den neuen Einwilligungsstandards, täglich geprüft und von CrawlWitness signiert.
Analysiert: 2026-11-01 18:14 UTC · Weltweiter Rang (Tranco) #706
robots.txt bloquea 6 de 6 bots de entrenamientorobots.txt bloquea 5 de 5 bots de agentes de usuariorobots.txt bloquea 3 de 4 bots de búsquedaWichtige KI-Bots in robots.txt
| Bot | Betreiber | Zugriff |
|---|---|---|
GPTBot | OpenAI | Blockiert |
ClaudeBot | Anthropic | Blockiert |
Google-Extended | Blockiert | |
Applebot-Extended | Apple | Blockiert |
meta-externalagent | Meta | Blockiert |
Bytespider | ByteDance | Blockiert |
CCBot | Common Crawl | Blockiert |
OAI-SearchBot | OpenAI | Blockiert |
PerplexityBot | Perplexity | Blockiert |
ChatGPT-User | OpenAI | Blockiert |
Gefundene Signale
| AIPREF (IETF) | — |
| Content-Signal | — |
| TDMRep | — |
| RSL 1.0 | — |
| llms.txt | — |
Notarielle Historie
4 Versionen seit 2026-11-01 erfasst; letzte Änderung 2026-11-01. Jede Version ist signiert und auf Base verankert. /v1/historial/fb.com
Bedeutung je nach Rechtsordnung
EU: Kommerzielles Text- und Data-Mining ist erlaubt, sofern der Rechteinhaber es nicht maschinenlesbar vorbehalten hat (Art. 4 Abs. 3 Richtlinie 2019/790). Anbieter von KI-Modellen mit allgemeinem Verwendungszweck müssen diese Vorbehalte beachten (Art. 53 KI-VO), seit August 2026 von der Kommission durchsetzbar.
Vereinigtes Königreich: Die Data-Mining-Ausnahme gilt nur für nicht-kommerzielle Forschung. 2026 verwarf die Regierung die geplante Opt-out-Ausnahme; kommerzielles KI-Training braucht daher in der Regel eine Lizenz.
USA: Es gibt kein gesetzliches Opt-out; ob Training Fair Use ist, entscheiden die Gerichte. Signale wie robots.txt belegen, was der Inhaber erlaubt hat.
Japan: Art. 30-4 erlaubt KI-Training weitgehend, außer bei unangemessener Beeinträchtigung des Rechteinhabers; technische Maßnahmen wie robots.txt können dabei zählen.
Information, keine Rechtsberatung.
Gehört Ihnen fb.com? Verifizieren Sie die Domain, signieren Sie Ihre KI-Erklärung und erhalten Sie ein datiertes Beweiszertifikat.
CrawlWitness PublisherSie entwickeln KI oder crawlen das Web? Prüfen Sie Tausende Domains per API, MCP oder x402 und zahlen Sie pro Abfrage.
API · MCP · x402