CrawlWitness

toyhou.se:AI 可以使用这个网站吗?

toyhou.se 当前对 AI 爬虫的表态,读取自其 robots.txt 和新的授权标准,每日检查并由 CrawlWitness 签名。

分析时间: 2026-11-01 18:18 UTC · 全球排名(Tranco) #1,434

AI 训练保留
Content-Signal ai-train: no robots.txt bloquea 6 de 6 bots de entrenamiento
RAG 与 AI 回答无信号
AI 搜索允许
Content-Signal search: sí

robots.txt 中的主要 AI 爬虫

爬虫运营方访问
GPTBotOpenAI禁止
ClaudeBotAnthropic禁止
Google-ExtendedGoogle禁止
Applebot-ExtendedApple禁止
meta-externalagentMeta禁止
BytespiderByteDance禁止
CCBotCommon Crawl禁止
OAI-SearchBotOpenAI部分禁止
PerplexityBotPerplexity部分禁止
ChatGPT-UserOpenAI部分禁止

发现的信号

AIPREF (IETF)—
Content-Signal✓
TDMRep—
RSL 1.0—
llms.txt—

公证历史

自 2026-11-01 起记录了 4 个版本;最近一次变更于 2026-11-01。每个版本均已签名并锚定在 Base 上。 /v1/historial/toyhou.se

不同法域下的含义

欧盟:商业目的的文本与数据挖掘被允许,除非权利人以机器可读方式作出保留(第 2019/790 号指令第 4(3) 条)。通用 AI 提供者必须尊重这些保留(《人工智能法》第 53 条),欧盟委员会自 2026 年 8 月起可执法。

英国:数据挖掘例外仅适用于非商业研究。2026 年政府放弃了拟议的“选择退出”例外,因此商业 AI 训练通常需要许可。

美国:没有法定的选择退出机制,训练是否构成合理使用正由法院裁决。robots.txt 等信号可作为权利人许可范围的证据。

日本:著作权法第 30 条之 4 广泛允许 AI 训练,但不当损害权利人利益的情形除外;robots.txt 等技术措施可能影响该判断。

仅供参考,不构成法律意见。

toyhou.se 是您的网站吗?验证域名、签署 AI 使用声明,并获取带日期的证据证书。

CrawlWitness Publisher

在开发 AI 或抓取网页?通过 API、MCP 或 x402 检查成千上万个域名,按次付费。

API · MCP · x402

检查其他域名