新:免费发一篇新闻稿,编辑审核后发到最多 5 家新闻网站。 免费发一篇

AI 爬虫和 robots.txt:各个爬虫做什么,怎么分别设置

简单说

AI 公司运行几种分工不同的爬虫:为带链接的回答抓取页面的搜索爬虫、收集训练数据的爬虫,以及用户提问时才行动的抓取工具。它们的所有者各自说明了独立的 robots.txt 标识,例如 ChatGPT 搜索用 OAI-SearchBot,训练用 GPTBot。robots.txt 是请求,不是访问控制。要不要退出训练由你决定;各家厂商说明了这项设置,但没有建议选哪一种。

AI 爬虫和 robots.txt。3 类,分工:搜索、训练、用户发起的抓取。约 24 小时,OpenAI 说搜索设置大约需要一天生效。不是锁,RFC 9309:这些规则不是一种访问授权。忽略,谷歌搜索忽略 llms.txt(2026 年 7 月指南)。允许搜索爬虫;是否退出训练由你自己决定。
AI 爬虫和 robots.txt,一图看懂。

各个爬虫做什么,按所有者的说法

各家公司自己的说明左右滑动可查看完整表格。
爬虫用途(按所有者的说法)说明
OAI-SearchBot(OpenAI)ChatGPT 里的搜索选择退出的网站不会出现在 ChatGPT 搜索回答里,但仍可作为导航链接出现;调整大约需要 24 小时
GPTBot(OpenAI)训练生成式 AI 基础模型禁止它,表示内容不应用于训练
ChatGPT-User(OpenAI)由用户发起的动作robots.txt 规则可能不适用
ClaudeBot(Anthropic)收集可能用于训练的网络内容Anthropic 说它的爬虫遵守 robots.txt 指令
Claude-User、Claude-SearchBot(Anthropic)按用户指示检索;为搜索建立索引禁用它们,可能降低在搜索里的可见度
PerplexityBot在 Perplexity 搜索中呈现并链接网站不用于抓取内容训练 AI 基础模型;Perplexity-User 一般忽略 robots.txt
Google-Extended控制谷歌抓取的内容能否用于训练未来的 Gemini 模型,以及在 Gemini 应用和 Vertex AI 的“谷歌搜索接地”中用于接地不影响谷歌搜索的收录;没有单独的 user-agent 字符串
Applebot-Extended退出生成式模型的训练Applebot 仍可能为搜索抓取
CCBot(Common Crawl)开放的网络存档用 User-agent: CCBot 加 Disallow: / 屏蔽
需要认识的四个爬虫。爬虫:OAI-SearchBot,分工:ChatGPT 里的搜索,说明:选择退出:不出现在回答里;爬虫:GPTBot,分工:训练,说明:单独的设置;爬虫:ChatGPT-User,分工:用户要求的抓取,说明:robots.txt 可能不适用;爬虫:Google-Extended,分工:Gemini 训练和接地控制,说明:不属于谷歌搜索
四个 AI 爬虫和它们的分工。

爬虫清单经常变,改文件之前先看各所有者的页面。微软 Bing 博客 2026 年 10 月 30 日新增了一项在 robots.txt 里设置的训练偏好,并说 Allow 设置不会推翻屏蔽 Bingbot 抓取的 robots.txt 规则。

robots.txt 怎么工作

标准 RFC 9309 说,这些规则不是一种访问授权,所以它只是请求,不强制执行。文件必须放在网站顶层的 /robots.txt;最具体的匹配规则优先;如果因为服务器错误无法访问文件,爬虫必须当作完全禁止,如果只是文件不存在,则可以抓取任何内容。爬虫一般不应使用超过 24 小时的缓存副本。爬虫名称的匹配不区分大小写。

示例设置

下面的规则允许搜索爬虫,并对那些所有者另设了独立标识的训练爬虫选择退出。这是 OpenAI 页面描述的组合,由你自己决定,不是哪家厂商的建议。

示例规则(每条是一行 User-agent 和其后的规则)左右滑动可查看完整表格。
User-agent规则效果
OAI-SearchBotAllow: /可以出现在 ChatGPT 搜索里
GPTBotDisallow: /请求 OpenAI 不要把页面用于训练
Claude-SearchBotAllow: /可以被收入搜索索引
ClaudeBotDisallow: /请求 Anthropic 不要为训练收集
PerplexityBotAllow: /可以出现在 Perplexity 结果里
Google-ExtendedDisallow: /请求谷歌不要把页面用于 Gemini 的训练和接地
Applebot-ExtendedDisallow: /退出苹果的训练使用
CCBotDisallow: /不让 Common Crawl 抓取
*Allow: /其他爬虫都可以抓取

谷歌 AI 概览和 AI 模式的资格,取决于 Googlebot 的收录和摘要控制,而不取决于 Google-Extended。

llms.txt 呢?

谷歌 2026 年 7 月的指南说,创建 llms.txt 这类不必要的 AI 文本文件,既不会损害也不会帮助你在谷歌搜索里的可见度,因为谷歌搜索会忽略它们。微软、OpenAI、Anthropic、Perplexity 和苹果是否读取它,我们没有找到官方说法。

Vokolla 沃声自己的文件怎么设置

2026 年 11 月 19 日,vokolla.com/robots.txt 允许所有爬虫抓取公开页面,请它们不要进入 /api/ 和 /admin/(公开的 API 路径保持开放),并列出了站点地图。没有点名任何 AI 爬虫,所以没有屏蔽任何一个。我们的网站还提供一个介绍套餐的 /llms.txt。

在 Vokolla 沃声发稿

Vokolla 沃声的价格公开,每篇 US$69(约 ¥460)起,不用询价,不用和销售沟通,也不用订阅。稿件自己写,或者用 Vokolla 新闻稿 AI 助手起草(可以先用中文写要点);套餐自己选,网上付款,发布后拿到列出全部上线链接的报告,发布前每篇都由编辑审核。可以先每 30 天免费发一篇试试,全部套餐见价格页。人民币按欧洲央行 2026-11-03 参考汇率折算,1 美元约 6.67 元。

常见问题

OAI-SearchBot 和 GPTBot 有什么区别?

OAI-SearchBot 用于 ChatGPT 里的搜索;GPTBot 用于训练生成式 AI 模型,各有自己的 robots.txt 设置。

屏蔽 GPTBot 会让我从 ChatGPT 里消失吗?

OpenAI 说每项设置相互独立;选择退出 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索回答里。

Google-Extended 会影响谷歌搜索吗?

谷歌说它不影响谷歌搜索的收录,也不是排名信号。

robots.txt 是安全措施吗?

不是。RFC 9309 说它的规则不是一种访问授权。

需要 llms.txt 文件吗?

谷歌搜索会忽略它;其他厂商没有说明。

这一步可以用到的 Vokolla 页面

  • 发稿套餐 →六个套餐,每篇 US$69 至 US$659,均附全部上线链接的报告。
  • 价格 →每个套餐的公开价格、覆盖范围和包含内容,放在一起对比。
  • 免费发稿 →每 30 天可免费发一篇,编辑审核后发布到新闻网站。
  • 新闻稿 AI 助手 →把你的 AI 助手连到 Vokolla,起草、检查并保存稿件。

资料来源

由 Vokolla 沃声编辑团队撰写并核对。文中的套餐由 Vokolla 沃声提供,价格和媒体以上述日期 vokolla.com 公开的信息为准,文中引用的结果来自我们自己发布的稿件。搜索排名受很多因素影响,任何发稿服务都无法保证。