风语 · 实用指南 · 更新于 2026-10-22
结论：ClaudeBot 在十个自然日里命中 1,178 次、不同 URL 932 个，其中 HTML 页面 576 个，是六者中唯一把 HTML 覆盖面做到数百量级的爬虫。
把三层数字并排看更清楚：932 个不同 URL 里只有 576 个是 HTML 页面，其余是音频、图片、代码数据与协议文件等非 HTML 资源。也就是说，ClaudeBot 的 URL 数并不等于它读了多少个页面，两者相差 356 个地址。
从逐日分布看，ClaudeBot 的抓取高度集中：2026-10-13 为 7 次、2026-10-14 为 1,170 次、2026-10-15 为 1 次。它不是在十天里匀速铺开，而是在单日完成绝大部分动作。
| 爬虫 | 命中次数 | 不同 URL | 其中 HTML 页面 |
|---|---|---|---|
| ClaudeBot | 1,178 | 932 | 576 |
| meta-externalagent | 381 | 378 | 73 |
| GPTBot | 108 | 88 | 77 |
| Bytespider | 69 | 25 | 2 |
| OAI-SearchBot | 24 | 1 | 0 |
| Applebot | 3 | 3 | 2 |
结论：meta-externalagent 命中 381 次、不同 URL 378 个，但其中 HTML 页面只有 73 个，URL 数量与页面数量之间差了 305 个地址，差额主要来自非 HTML 资源。
这正是「抓的 URL 多」不等于「读的 HTML 页面多」的典型样本：378 个 URL 里 HTML 页面只占 73 个，HTML 页面命中 76 次。如果只看 URL 数，会误以为它读了几百个页面；按 HTML 口径，它的页面覆盖面只有 ClaudeBot 的约八分之一。
它的逐日节奏也很集中：2026-10-14 为 58 次、2026-10-16 为 322 次、2026-10-18 为 1 次。单日冲高、其余日子几乎不动，是这类爬虫的常见形态。
结论：GPTBot 命中 108 次、不同 URL 88 个，其中 HTML 页面 77 个，HTML 页面命中 82 次，是六者中 HTML 页面占 URL 比例最高的一家。
与 meta-externalagent 相比，GPTBot 的 URL 总数小得多，但 88 个 URL 里有 77 个是 HTML 页面，说明它基本只在页面层面活动，很少去碰音频、图片这类资源。判断一个爬虫「读了多少页面」，必须把 URL 数和 HTML 页面数分开看，否则会把资源抓取误算成页面阅读。
它的逐日分布是六者中最均匀的：2026-10-13 16 次、10-14 27 次、10-15 15 次、10-16 22 次、10-17 6 次、10-18 8 次、10-19 6 次、10-20 8 次，八天都有动作。
结论：Bytespider 命中 69 次、不同 URL 25 个，其中 HTML 页面只有 2 个；Applebot 命中 3 次、不同 URL 3 个，其中 HTML 页面 2 个，两者都属于覆盖面极窄的爬虫。
Bytespider 是又一个 URL 数被非 HTML 资源撑大的例子：25 个 URL 里 HTML 页面仅 2 个，HTML 页面命中 8 次，其余地址集中在非页面资源上。它的逐日分布为 2026-10-15 3 次、10-16 52 次、10-17 3 次、10-18 3 次、10-19 3 次、10-20 5 次。
Applebot 只在 2026-10-18 出现 3 次，不同 URL 3 个、HTML 页面 2 个，样本量很小，只能说明它来过，不能据此推断长期行为。
结论：OAI-SearchBot 命中 24 次，但不同 URL 只有 1 个，即 /robots.txt，HTML 页面为 0 个，是六者中唯一没有读到任何 HTML 页面的爬虫。
它的逐日分布非常规律：2026-10-13 至 2026-10-20 每天 3 次，十天窗口内只围绕协议文件活动。这类抓取说明爬虫在确认站点规则，而不是在阅读页面内容。
把 OAI-SearchBot 与 ClaudeBot 放在一起看，六者之间的 HTML 覆盖面差距不是几倍，而是从 576 个到 0 个的量级差。回答「谁读的页面最多」时，必须按 HTML 页面口径排，而不是按命中次数或 URL 数排。
结论：因为一个 URL 可能指向音频、图片、代码数据或协议文件，只有路径以 .html 结尾、以 / 结尾或最后一段不含点号的地址才计为 HTML 页面，所以 URL 总数天然会把非页面资源算进来。
meta-externalagent 的 378 个 URL 对 73 个 HTML 页面、Bytespider 的 25 个 URL 对 2 个 HTML 页面，都是这一口径差异的直接体现。若把 URL 数当作页面数，就会高估这两家的阅读覆盖面。
反过来，GPTBot 的 88 个 URL 对 77 个 HTML 页面，差额很小，说明它的抓取几乎都落在页面上。因此逐引擎比较时，应同时列出命中、URL、HTML 页面三层数字，单看任何一层都会得出偏差结论。
结论：逐引擎比较时最常见的错误，是把命中次数、URL 数、HTML 页面数混为一谈，或用 URL 数代替页面数，从而高估某些爬虫的实际阅读覆盖面。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 用 URL 数代替 HTML 页面数 | 看到 meta-externalagent 有 378 个 URL，就说它读了几百个页面 | 按 HTML 口径单列，378 个 URL 中 HTML 页面为 73 个 |
| 用命中次数排阅读量 | 认为命中 381 次的爬虫一定比命中 108 次的读得多 | 命中含重复抓取与非页面资源，阅读覆盖面要看 HTML 页面数 |
| 把协议文件抓取当成页面阅读 | 把 OAI-SearchBot 的 24 次命中算作读了 24 个页面 | 它只有 1 个 URL 即 /robots.txt，HTML 页面为 0 个 |
六个 AI 爬虫里，读到的 HTML 页面最多的是谁？按风语《AI 爬虫命中》数据页口径，2026-10-11 至 2026-10-20 十个自然日内，ClaudeBot 读到 576 个 HTML 页面，是六者中最多的；其次是 GPTBot 77 个、meta-externalagent 73 个。
meta-externalagent 抓了 378 个 URL，为什么只说它读了 73 个页面？因为 URL 不全是 HTML 页面。按口径，只有路径以 .html 结尾、以 / 结尾或最后一段不含点号的地址才计为 HTML 页面，meta-externalagent 的 378 个 URL 中符合这一条件的为 73 个。
OAI-SearchBot 一次 HTML 页面都没读吗？是的。它在窗口内命中 24 次，但不同 URL 只有 1 个，即 /robots.txt，HTML 页面为 0 个，逐日表现为 2026-10-13 至 2026-10-20 每天 3 次。
命中次数多的爬虫，一定读的页面多吗？不一定。命中包含重复抓取和非 HTML 资源，判断阅读覆盖面要看 HTML 页面数。例如 Bytespider 命中 69 次，HTML 页面只有 2 个；GPTBot 命中 108 次，HTML 页面有 77 个。
同簇阅读：AI 爬虫十天抓了 1,763 次，到底读了多少个页面？ ｜ AI 爬虫会把同一个页面反复抓几次，重复到底集中在哪些页面？ ｜ 一个页面被几个 AI 爬虫抓过，才算真的被收录？
数据出处：风语《AI 爬虫命中》数据页（公开数据页，当场打码 HTTP 200） 风语《公开数据目录》页（公开数据页，当场打码 HTTP 200）