CrawlWitnessatlassian.net：AI 可以使用这个网站吗？
atlassian.net 当前对 AI 爬虫的表态，读取自其 robots.txt 和新的授权标准，每日检查并由 CrawlWitness 签名。
分析时间: 2026-11-01 18:13 UTC · 全球排名（Tranco） #426
AI 训练无信号
RAG 与 AI 回答无信号
AI 搜索无信号
robots.txt 中的主要 AI 爬虫
| 爬虫 | 运营方 | 访问 |
|---|---|---|
GPTBot | OpenAI | 部分禁止 |
ClaudeBot | Anthropic | 部分禁止 |
Google-Extended | 部分禁止 | |
Applebot-Extended | Apple | 部分禁止 |
meta-externalagent | Meta | 部分禁止 |
Bytespider | ByteDance | 部分禁止 |
CCBot | Common Crawl | 部分禁止 |
OAI-SearchBot | OpenAI | 部分禁止 |
PerplexityBot | Perplexity | 部分禁止 |
ChatGPT-User | OpenAI | 部分禁止 |
发现的信号
| AIPREF (IETF) | — |
| Content-Signal | — |
| TDMRep | — |
| RSL 1.0 | — |
| llms.txt | ✓ |
公证历史
自 2026-11-01 起记录了 4 个版本；最近一次变更于 2026-11-01。每个版本均已签名并锚定在 Base 上。 /v1/historial/atlassian.net
不同法域下的含义
欧盟：商业目的的文本与数据挖掘被允许，除非权利人以机器可读方式作出保留（第 2019/790 号指令第 4(3) 条）。通用 AI 提供者必须尊重这些保留（《人工智能法》第 53 条），欧盟委员会自 2026 年 8 月起可执法。
英国：数据挖掘例外仅适用于非商业研究。2026 年政府放弃了拟议的“选择退出”例外，因此商业 AI 训练通常需要许可。
美国：没有法定的选择退出机制，训练是否构成合理使用正由法院裁决。robots.txt 等信号可作为权利人许可范围的证据。
日本：著作权法第 30 条之 4 广泛允许 AI 训练，但不当损害权利人利益的情形除外；robots.txt 等技术措施可能影响该判断。
仅供参考，不构成法律意见。
atlassian.net 是您的网站吗？验证域名、签署 AI 使用声明，并获取带日期的证据证书。
CrawlWitness Publisher在开发 AI 或抓取网页？通过 API、MCP 或 x402 检查成千上万个域名，按次付费。
API · MCP · x402