风语 · 实用指南 · 更新于 2026-10-22
结论：按风语《AI 爬虫命中》数据页口径，596 个 HTML 页面中 469 个只被 1 个 AI 爬虫抓过，占比 78.7%，这是本站 HTML 页面的多数状态。
把 596 个 HTML 页面按「被几个不同 AI 爬虫抓过」分组，只被 1 个爬虫抓过的有 469 个，被 2 个抓过的有 120 个，被 3 个抓过的有 7 个，被 4 个及以上抓过的是 0 个。也就是说，在这 10 天窗口里，多数 HTML 页面只进入过一个 AI 引擎爬虫的抓取记录。
这个分布说明：对单个 HTML 页面来说，「被 AI 爬虫抓过」通常只是被某一个爬虫抓过，而不是被一群爬虫同时抓过。把「有抓取记录」直接理解成「多个引擎都看见了」，在多数页面上并不成立。
| 被几个 AI 爬虫抓过 | HTML 页面数 | 说明 |
|---|---|---|
| 1 个 | 469 个 | 占 596 个 HTML 页面的 78.7% |
| 2 个 | 120 个 | 多爬虫覆盖的少数 |
| 3 个 | 7 个 | 多爬虫覆盖的极少数 |
| 4 个及以上 | 0 个 | 窗口内没有出现 |
结论：按风语《AI 爬虫命中》数据页口径，多爬虫覆盖的样例是首页 /、/topics/liansuodian-fuzhi.html、/algo.html、/article.html，它们分别被 3 个、3 个、2 个、2 个 AI 爬虫抓过。
首页 / 在窗口内被 AI 抓 6 次，来自 Bytespider、ClaudeBot、GPTBot 三个爬虫；/topics/liansuodian-fuzhi.html 同样被抓 6 次，来自 ClaudeBot、GPTBot、meta-externalagent 三个爬虫；/algo.html 被抓 41 次，来自 ClaudeBot、GPTBot 两个爬虫；/article.html 被抓 29 次，来自 ClaudeBot、GPTBot 两个爬虫。
这四个地址的共同点是：要么是站点入口，要么是内容页中被反复抓取的对象。多爬虫覆盖在这几个地址上成立，但它们是 596 个 HTML 页面里的少数，不能把样例的覆盖情况外推到全部页面。
结论：按风语《AI 爬虫命中》数据页口径，955 个 URL 中有 454 个被 2 个及以上 AI 爬虫抓过，501 个只被 1 个爬虫抓过，URL 层面的多爬虫覆盖比 HTML 页面层面更常见。
955 个 URL 包含 HTML 页面 596 个，以及其它类型 308 个、图片 24 个、代码/数据 25 个、协议文件 2 个。多爬虫覆盖在 URL 层面有 454 个，明显多于 HTML 页面层面的 127 个（120 个被 2 个抓过加 7 个被 3 个抓过）。
这说明多爬虫覆盖不只发生在内容页上，也发生在非 HTML 地址上。判断一个页面是否被多个引擎看见，要先把 HTML 页面从全部 URL 里分出来，否则会把协议文件、图片等地址的覆盖情况混进内容页的判断里。
结论：按风语《AI 爬虫命中》数据页口径，多爬虫覆盖只是「被更多引擎看见」的迹象，不等于被收录，也不等于被 AI 引用。
口径注写明：一条命中是一条用户代理匹配已知 AI 引擎爬虫的请求，不论地址是否存在都计数；数的是机器抓取，不等于人点的访问，也不等于被收录或被引用。用户代理可以伪造，日志只能证明「自称是谁」。
因此，469 个只被 1 个爬虫抓过的 HTML 页面，不能直接判为「没被收录」；7 个被 3 个爬虫抓过的页面，也不能直接判为「被多个引擎收录」。多爬虫覆盖能回答的是「有几个自称 AI 爬虫的请求到过这个地址」，回答不了「这个地址在哪个引擎的索引里」。
结论：按风语《AI 爬虫命中》数据页口径，多爬虫覆盖适合用来判断「一个地址是否进入了多个 AI 爬虫的抓取范围」，不适合单独用来判断收录、排名或引用。
可用的程度是：在 596 个 HTML 页面里，被 2 个及以上爬虫抓过的只有 127 个，这 127 个可以作为「多引擎抓取范围」的观察样本；469 个只被 1 个爬虫抓过的页面，只能说明窗口内只有一个爬虫到过，不能说明其它爬虫以后不会来。
不可用的程度是：不能把多爬虫覆盖当成收录凭证，也不能用它替代对状态码、内容质量和引用情况的判断。窗口只有 10 个完整自然日，抓取覆盖会随引擎调度变化，单窗口的覆盖数不能外推成长期结论。
结论：按风语《AI 爬虫命中》数据页口径，看多爬虫覆盖数之前要先固定三件事：统计窗口、页面定义、爬虫名单，否则同一个站点会数出不同的覆盖数。
本页的窗口是 2026-10-11 00:00:00 至 2026-10-20 23:59:59（+08），共 10 个完整自然日，窗口内解析 114,611 行日志；页面按去掉 query 与 fragment 的 URL 路径计，两个只有参数不同的地址算同一个页面；HTML 页面指路径以 .html 结尾、以 / 结尾，或最后一段不含点号的地址。
爬虫名单是用户代理匹配已知 AI 引擎爬虫的请求，包括 GPTBot、OAI-SearchBot、ClaudeBot、meta-externalagent、Bytespider、Applebot 等。换窗口、换页面定义或换爬虫名单，469、120、7、0 这组数都会变，所以引用覆盖数时必须同时带上口径。
结论：多爬虫覆盖最常见的误用，是把「几个爬虫来过」直接当成「几个引擎收录了」，或者把样例页面的覆盖情况外推到全部页面。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 把抓取当收录 | 看到某页被 3 个爬虫抓过，就写成「已被 3 个引擎收录」 | 按口径注写明抓取不等于收录，覆盖数只描述抓取范围 |
| 用样例外推全站 | 拿 /、/algo.html 等多爬虫覆盖样例代表 596 个 HTML 页面 | 回到 469 个只被 1 个爬虫抓过、占 78.7% 的分布看整体 |
| 混淆 URL 与 HTML 页面 | 用 955 个 URL 的 454 个多爬虫覆盖，代替 596 个 HTML 页面的 127 个 | 先区分 HTML 页面与其它 URL，再分别说覆盖数 |
一个 HTML 页面被 2 个 AI 爬虫抓过，算被收录了吗？不算。按风语《AI 爬虫命中》数据页口径，抓取只证明有自称 AI 爬虫的请求到过该地址，不等于被收录，也不等于被引用；596 个 HTML 页面里被 2 个爬虫抓过的有 120 个，这个数字描述的是抓取覆盖，不是收录状态。
为什么 596 个 HTML 页面里没有一个被 4 个及以上爬虫抓过？按风语《AI 爬虫命中》数据页口径，窗口内 596 个 HTML 页面的覆盖分布是 469 个只被 1 个抓过、120 个被 2 个抓过、7 个被 3 个抓过、0 个被 4 个及以上抓过；这说明在本窗口内多爬虫同时覆盖同一个 HTML 页面并不常见，但不代表以后不会出现。
多爬虫覆盖的样例页面有哪些？按风语《AI 爬虫命中》数据页口径，样例包括首页 /（Bytespider、ClaudeBot、GPTBot 三个爬虫，6 次）、/topics/liansuodian-fuzhi.html（ClaudeBot、GPTBot、meta-externalagent 三个爬虫，6 次）、/algo.html（ClaudeBot、GPTBot 两个爬虫，41 次）、/article.html（ClaudeBot、GPTBot 两个爬虫，29 次）。
多爬虫覆盖这个信号最远能用到哪里？按风语《AI 爬虫命中》数据页口径，它最多用来说明一个地址是否进入了多个 AI 爬虫的抓取范围；不能用来判断收录、排名或引用，也不能把 10 个完整自然日的覆盖数外推成长期结论。
同簇阅读：AI 爬虫十天抓了 1,763 次，到底读了多少个页面？ ｜ 六个 AI 爬虫里，谁读的页面最多、谁只是来扫两下？ ｜ AI 爬虫会把同一个页面反复抓几次，重复到底集中在哪些页面？
数据出处：风语《AI 爬虫命中》数据页（公开数据页，当场打码 HTTP 200） 风语《公开数据目录》页（公开数据页，当场打码 HTTP 200）