风语 · 实用指南 · 更新于 2026-10-22
结论：955 个 URL 平均每个被 AI 爬虫抓 1.85 次，但平均值掩盖了分布，只抓 1 次的有 424 个、抓 2–5 次的有 523 个，两档合计 947 个，真正反复被抓的只是极少数。
把 955 个 URL 按被抓次数分档看：只抓 1 次 424 个，抓 2–5 次 523 个，抓 6–20 次 3 个，抓 21 次及以上 5 个。也就是说，接近一半的地址在整个 10 天窗口里只留下一条命中记录，另有超过一半只落在 2 到 5 次这个浅重复区间。
1.85 次这个平均值之所以看起来不高，是因为 6 次以上的地址一共只有 8 个，它们贡献的命中次数拉高了均值，但并没有改变「多数页面只被扫过一两次」的基本盘。看重复问题，分档比均值更有解释力。
| 重复档位 | URL 数 | 说明 |
|---|---|---|
| 只抓 1 次 | 424 个 | 窗口内仅一条命中 |
| 抓 2–5 次 | 523 个 | 浅重复区间 |
| 抓 6–20 次 | 3 个 | 明显重复 |
| 抓 21 次及以上 | 5 个 | 高频重复 |
结论：只看 596 个 HTML 页面，只抓 1 次的有 392 个、2–5 次 198 个、6–20 次 3 个、21 次及以上 3 个，HTML 页面共被命中 979 次、平均每个 HTML 页 1.64 次，正文页的重复程度比全站 URL 更低。
HTML 页面是真正承载内容的地址类型，它的重复分布比全站更平：392 个只被抓 1 次，占 596 个 HTML 页面的多数；198 个落在 2–5 次；6 次以上的合计只有 6 个。换句话说，绝大多数内容页在 10 天里只被 AI 爬虫读过一遍。
平均每个 HTML 页 1.64 次，低于全部 955 个 URL 的 1.85 次，说明拉高全站均值的主要不是正文页，而是协议文件和少数被反复请求的固定地址。判断「页面是否被反复抓」，应当先看 HTML 页面这一层。
结论：重复抓取高度集中在少数地址上，/spirit_v2.html 79 次、/robots.txt 45 次、/algo.html 41 次、/article.html 29 次、/sitemap.xml 21 次，这五个地址就构成了头部重复的主体。
从地址看，/spirit_v2.html 的 79 次全部来自 ClaudeBot；/robots.txt 的 45 次来自 Applebot、Bytespider、ClaudeBot、OAI-SearchBot 四个爬虫；/algo.html 的 41 次来自 ClaudeBot 与 GPTBot；/article.html 的 29 次来自 ClaudeBot 与 GPTBot；/sitemap.xml 的 21 次来自 ClaudeBot 与 GPTBot。
这五个地址里既有正文页，也有协议文件，重复来源并不单一。再往下看，/topics/fang-chan-zhong-jie-gong-si.html 8 次、/ 首页 6 次、/topics/liansuodian-fuzhi.html 6 次，次数已经明显回落，说明重复并不是均匀铺开的，而是集中在很短的头部名单里。
| 地址 | 命中次数 | 涉及爬虫 |
|---|---|---|
| /spirit_v2.html | 79 次 | ClaudeBot |
| /robots.txt | 45 次 | Applebot、Bytespider、ClaudeBot、OAI-SearchBot |
| /algo.html | 41 次 | ClaudeBot、GPTBot |
| /article.html | 29 次 | ClaudeBot、GPTBot |
| /sitemap.xml | 21 次 | ClaudeBot、GPTBot |
结论：重复在时间上同样集中，10-14 单日 AI 命中 1,258 次，占全窗口 1,763 次的 71.4%，其中 ClaudeBot 当天 1,170 次，重复抓取主要是这一天、这一个爬虫造成的。
逐日看，10-11 与 10-12 都是 0 次，10-13 为 26 次，10-14 骤增到 1,258 次，10-15 回落到 22 次，10-16 又有 399 次，其余各日在 12 到 18 次之间。脉冲特征非常明显，不是平稳的日常抓取。
ClaudeBot 在 10-14 单日 1,170 次，几乎等于当天全部 AI 命中；它的 URL 重复分布是只抓 1 次 837 个、2–5 次 91 个、6–20 次 1 个、21 次及以上 3 个。这说明高重复地址与单日脉冲高度重合，重复次数里包含大量同一时段的集中请求。
结论：反复抓取只能说明该地址在窗口内被请求了多次，不能推出页面重要，更不能推出会被 AI 引用；口径上数的是机器抓取，不等于人点的访问，也不等于被收录或被引用。
头部地址里，/robots.txt 与 /sitemap.xml 属于协议文件，被抓 45 次和 21 次并不代表它们的内容价值高；/spirit_v2.html 的 79 次全部来自 ClaudeBot 一个爬虫，也不代表多个引擎都看重它。重复次数反映的是请求行为，不是内容质量评分。
另外，用户代理可以伪造，日志只能证明「自称是谁」；一条命中不论地址是否存在、不论状态码都计数。因此看到高重复时，合理的解读是「这个地址被反复请求过」，而不是「这个页面被认可了」。
结论：判断重复抓取至少要分三层看，全站 955 个 URL 平均 1.85 次、596 个 HTML 页面平均 1.64 次、单爬虫如 ClaudeBot 的 932 个 URL 里只抓 1 次的有 837 个，三层的结论并不相同。
全站层面，424 个 URL 只抓 1 次、523 个抓 2–5 次，重复集中在 8 个 6 次以上的地址；HTML 层面，392 个只抓 1 次，重复更浅；单爬虫层面，ClaudeBot 的 932 个 URL 中有 837 个只抓 1 次，重复同样集中在少数地址。
如果不分层，很容易把协议文件和脉冲日的集中请求当成「内容被反复阅读」。按三层拆开之后可以看到：重复是局部现象，主体仍然是大量只被扫过一两次的页面。
结论：重复抓取最常见的误读是把次数当权重，以下三个坑会让结论偏离数据。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 把高重复当成页面重要 | 看到 /spirit_v2.html 79 次就认为它是最重要的页面 | 先看该地址由几个爬虫抓、是否集中在单日脉冲 |
| 用全站均值代替分层 | 拿 1.85 次直接描述 HTML 页面 | HTML 页面单看，平均为 1.64 次 |
| 把抓取当成收录或引用 | 认为被抓多次就会被 AI 回答引用 | 口径只证明机器请求过，不证明收录与引用 |
同一个页面在 10 天里最多被 AI 爬虫抓了几次？按风语《AI 爬虫命中》数据页口径，窗口内被抓最多的是 /spirit_v2.html，79 次，全部来自 ClaudeBot；其次是 /robots.txt 45 次、/algo.html 41 次。
955 个 URL 里有多少只被抓过一次？只抓 1 次的有 424 个，抓 2–5 次的有 523 个，抓 6–20 次的有 3 个，抓 21 次及以上的有 5 个，合计 955 个 URL、1,763 次命中。
HTML 页面的重复情况和全站一样吗？不一样。596 个 HTML 页面中只抓 1 次的有 392 个、2–5 次 198 个、6–20 次 3 个、21 次及以上 3 个，HTML 页面平均每个 1.64 次，低于全站 URL 的 1.85 次。
一个页面被反复抓，是不是说明它会被 AI 引用？不能这样推。口径数的是机器抓取，不等于人点的访问，也不等于被收录或被引用；用户代理可以伪造，日志只能证明「自称是谁」，重复次数只反映请求行为。
同簇阅读：AI 爬虫十天抓了 1,763 次，到底读了多少个页面？ ｜ 六个 AI 爬虫里，谁读的页面最多、谁只是来扫两下？ ｜ 一个页面被几个 AI 爬虫抓过，才算真的被收录？
数据出处：风语《AI 爬虫命中》数据页（公开数据页，当场打码 HTTP 200） 风语《公开数据目录》页（公开数据页，当场打码 HTTP 200）