llms.txt

llms.txt 是一个提议中的标准文件，放在网站根目录，向 LLM 驱动的爬虫提供简洁、机器可读的站点摘要——它是什么、哪些页面最重要、如何消费其内容。它是 AI 时代的 robots.txt。

该提案（由 Jeremy Howard / Answer.AI 发起）很简单：在 /llms.txt 放置一个 Markdown 文件，列出你最想让 LLM 读取的页面，附带简短描述；可选地，再放一个 /llms-full.txt 把所有重要页面的全文集中到一份文档里。

llms.txt 为何存在

• LLM 爬虫既嘈杂又昂贵。它们会重新抓取整个站点来寻找值得读的内容
• 一份干净、经过策划的索引能帮它们更快找到对的页面
• 它让发布者控制 LLM 可以读什么
• 通过确保对的页面易于检索，能提升你的 引用率

如何写好 llms.txt

1. 用一段话概述你的站点以及它服务的对象
2. 列出你最希望 LLM 读取的 20–50 个 URL，按章节分组，每条配 1–2 句描述
3. 跳过标签、归档与低价值页面
4. 当你发布重要内容时及时更新
5. 可选地，把最佳页面的全文发布到 /llms-full.txt

现在要采用吗？

要——如果你发布研究、文档或长篇参考内容。成本很低（一个 Markdown 文件），收益可观，并且在 LLM 提供商正式确立标准时你会先行一步。