ClaudeBot

ClaudeBot 是 Anthropic 的网页爬虫，用于让 Claude 的知识保持更新，并支撑其答案中的引用。在 robots.txt 中决定如何处理它。

Claude 被知识工作者与开发者广泛使用。被 Claude 引用是 B2B 与技术内容的高价值信号。

如何控制 ClaudeBot

• 允许。 默认。让 Anthropic 为 Claude 的回答与持续训练抓取你的内容
• 屏蔽。 加入 robots.txt：

  User-agent: ClaudeBot
  Disallow: /
  

• 仅屏蔽较新模型的训练。 分别使用 Claude-User（用于用户发起的抓取）与 Claude-SearchBot（用于驱动实时搜索）：

  User-agent: ClaudeBot
  Disallow: /
  User-agent: Claude-User
  Allow: /
  User-agent: Claude-SearchBot
  Allow: /
  

为什么允许

• 你的内容可以被 Claude 的回答引用
• 它驱动来自高意图受众的 AI 引荐流量
• 它贡献你在 Anthropic 场景上的 引用率

为什么屏蔽

• 你不想让你的内容被用于训练未来的 Claude 模型
• 你有内容许可限制
• 你处于受监管的行业

如何验证

• 在你的服务器日志中检查 User-Agent: ClaudeBot、User-Agent: Claude-User、User-Agent: Claude-SearchBot
• 使用 Anthropic 公布的 IP 段进行确认
• 通过问 Claude 关于你已发布主题的问题来测试