GPTBot

GPTBot 是 OpenAI 的网页爬虫。它既可用于训练未来模型，也用于在 ChatGPT 搜索中呈现内容。在 robots.txt 中决定如何处理它。

GPTBot 是被屏蔽最广的 AI 爬虫——也是使用最广的爬虫。屏蔽它已是 2026 年一个有意义的 SEO 决策。

如何控制 GPTBot

• 允许。 默认。让 OpenAI 在训练与 ChatGPT 搜索中使用你的内容
• 屏蔽。 加入 robots.txt：

  User-agent: GPTBot
  Disallow: /
  

• 仅屏蔽训练。 用 OAI-SearchBot 处理搜索，屏蔽 GPTBot 处理训练：

  User-agent: GPTBot
  Disallow: /
  User-agent: OAI-SearchBot
  Allow: /
  

为什么允许

• 你的内容可以被 ChatGPT 与 ChatGPT 搜索的回答引用
• 它驱动 AI 引荐流量
• 它贡献你在使用最广的 AI 场景上的 引用率

为什么屏蔽

• 你不想让你的内容被用于训练未来的 OpenAI 模型
• 你有付费墙或许可内容，不应被复述
• 你处于对内容有监管限制的行业

如何验证

• 在你的服务器日志中检查 User-Agent: GPTBot 与 User-Agent: OAI-SearchBot
• 使用 OpenAI 公布的 IP 段进行确认
• 通过问 ChatGPT 能否找到你的最新页面来测试