风语 · 实用指南 · 更新于 2026-10-22
结论：1,763 次、955 个 URL、596 个 HTML 页面不是同一件事的三种说法，而是三个口径：命中数数请求，URL 数数地址，HTML 页面数数内容页，回答「AI 爬虫十天到底读了多少页面」必须同时给出这三个数。
口径上，一条命中指本站 .com.cn 主机 nginx 访问日志里用户代理匹配已知 AI 引擎爬虫的一条请求，不论地址是否存在、不论状态码；一个页面按去掉 query 与 fragment 的 URL 路径计，只有参数不同的两个地址算同一个页面；HTML 页面指路径以 .html 结尾、以 / 结尾，或最后一段不含点号的地址。窗口 2026-10-11 00:00:00 至 2026-10-20 23:59:59（+08），共 10 个完整自然日，窗口内解析 114,611 行日志。
所以只报 1,763 次会让人以为读了一千多个页面，只报 596 个又会漏掉同一页面被反复抓的事实。三个数一起看，才能既知道抓取总量，又知道内容覆盖面。
| 口径 | 数值 | 含义 |
|---|---|---|
| AI 爬虫命中次数 | 1,763 次 | 请求条数，同一页面抓多次算多次 |
| 不同 URL（去 query） | 955 个 | 被访问过的地址数，含非 HTML 资源 |
| HTML 页面 | 596 个 | 内容页数量，是「读了多少页」的主口径 |
结论：1,763 次命中摊到 955 个 URL 上，平均每个 URL 被 AI 抓 1.85 次；只看 596 个 HTML 页面，979 次命中摊下来平均每页 1.64 次，说明十天里同一地址被多次访问是常态，不是每个页面只读一遍。
这两个平均值只是总量除法，不代表每个页面都被均匀抓取。全窗口不同 URL 的重复分布是只抓 1 次 424 个、抓 2–5 次 523 个、抓 6–20 次 3 个、抓 21 次及以上 5 个；596 个 HTML 页面的重复分布是只抓 1 次 392 个、2–5 次 198 个、6–20 次 3 个、21 次及以上 3 个。均值背后是长尾，具体分布不在本页展开。
对内容方来说，均值 1.85 次可以用来估抓取压力，但不能用来估内容覆盖；覆盖要看 596 这个页面数，压力要看 1,763 这个次数。
结论：1,763 次命中中有 979 次落在 596 个 HTML 页面上，其余命中落在音频、图片、代码/数据、协议文件等非 HTML 地址上，所以「命中次数」不能直接当成「读了多少篇文章」。
955 个 URL 里，596 个是 HTML 页面，其余 359 个不是：其它类型 308 个（多数是 /learn/audio/words_spell/ 下的 .mp3 音频，另有少量 .bat 探测地址）、图片 24 个、代码/数据 25 个、协议文件 2 个（/robots.txt 与 /sitemap.xml）。这些地址被访问也是真实的机器请求，但它们不是内容页。
把 979 次除以 596 得到 1.64 次，是 HTML 页面这一层的平均值；把 1,763 次除以 955 得到 1.85 次，是全部 URL 这一层的平均值。两个数分母不同，引用时不要混用。
| 地址类型 | URL 数 | 说明 |
|---|---|---|
| HTML 页面 | 596 个 | 共被命中 979 次，平均 1.64 次 |
| 其它类型 | 308 个 | 多数为 .mp3 音频，另有少量 .bat 探测地址 |
| 图片 | 24 个 | 非内容页 |
| 代码/数据 | 25 个 | 非内容页 |
| 协议文件 | 2 个 | /robots.txt 与 /sitemap.xml |
结论：1,763 次是请求计数，955 个是地址计数，596 个是 HTML 页面计数，三者各自成立但不能互相换算；更不能从任何一个数推出「被收录」或「被引用」。
一条命中只证明某个自称 AI 引擎爬虫的用户代理来请求过这个地址，日志只能证明「自称是谁」，用户代理可以伪造；它不证明页面被索引，也不证明页面出现在 AI 的回答里。抓取、收录、引用是三个不同环节，本页只覆盖第一环。
所以对外表述时，可以说「十天被 AI 爬虫命中 1,763 次、覆盖 596 个 HTML 页面」，不能说「十天被 AI 读了 1,763 篇文章」，也不能说「有 596 篇文章被 AI 收录」。
结论：1,763 次命中的状态码以 200 为主，共 1,689 次，另有 301 共 27 次、206 共 32 次、304 共 13 次、302 共 1 次、403 共 1 次，404 为 0 次，这与「数的是机器抓取请求」的口径一致。
把状态码一起摆出来，是为了说明命中计数不筛状态码：只要用户代理匹配就算一次，所以 301、304、403 这些非 200 响应也计入 1,763 次里。404 为 0 次，说明窗口内 AI 爬虫请求的地址基本都存在。
这也提醒引用者：1,763 次不是「1,763 次成功读到内容」，其中包含重定向、缓存校验等情形；要谈内容触达，仍应回到 596 个 HTML 页面这个口径。
结论：对外引用本页数据，最小完整说法是「2026-10-11 至 2026-10-20 共 10 个完整自然日，AI 爬虫命中 1,763 次、不同 URL 955 个、HTML 页面 596 个，平均每 URL 1.85 次、HTML 页 1.64 次」，并注明出处为风语《AI 爬虫命中》数据页。
缺了窗口，数字就没有时间边界；缺了 URL 数，次数会被误读成页面数；缺了 HTML 页面数，内容覆盖面就无从判断。三个数加两个均值，再加口径与出处，才是一句可以被直接引用的话。
如果需要更细的目录与口径说明，可查风语《公开数据目录》页；本页不展开逐引擎表现、重复抓取分布与多爬虫覆盖比例，这些各有专页。
结论：这一组数最常见的误用是把命中次数当成页面数、把抓取当成收录或引用，下面三种情况在对外表述时最容易出现。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 把次数当页面数 | 写成「AI 十天读了一千七百多篇文章」 | 分开报 1,763 次命中与 596 个 HTML 页面 |
| 把抓取当收录 | 写成「596 个页面被 AI 收录」 | 只声明抓取，收录与引用不在本页口径内 |
| 混用两个均值 | 用 1.85 次描述 HTML 页面 | HTML 页面用 1.64 次，全部 URL 用 1.85 次 |
AI 爬虫十天到底读了多少个页面？按风语《AI 爬虫命中》数据页口径，2026-10-11 至 2026-10-20 共 10 个完整自然日，AI 爬虫命中 1,763 次，落到 955 个不同 URL，其中 HTML 页面 596 个；若问内容页，答案是 596 个，若问请求量，答案是 1,763 次。
为什么 1,763 次命中只对应 955 个 URL？因为同一地址在十天里会被重复访问：1,763 次除以 955 个 URL 等于平均每个 URL 1.85 次；596 个 HTML 页面共被命中 979 次，平均每页 1.64 次。次数数请求，URL 数数地址，两者本来就不相等。
596 个 HTML 页面之外的 359 个 URL 是什么？955 个 URL 里其余 359 个不是 HTML 页面：其它类型 308 个（多数是 /learn/audio/words_spell/ 下的 .mp3 音频，另有少量 .bat 探测地址）、图片 24 个、代码/数据 25 个、协议文件 2 个（/robots.txt 与 /sitemap.xml）。
这组数能说明页面被 AI 收录或引用了吗？不能。口径数的是机器抓取，一条命中只代表某个自称 AI 引擎爬虫的用户代理请求过该地址，用户代理可伪造；抓取不等于被收录，更不等于被 AI 引用，本页只回答抓取这一环。
同簇阅读：六个 AI 爬虫里，谁读的页面最多、谁只是来扫两下？ ｜ AI 爬虫会把同一个页面反复抓几次，重复到底集中在哪些页面？ ｜ 一个页面被几个 AI 爬虫抓过，才算真的被收录？
数据出处：风语《AI 爬虫命中》数据页（公开数据页，当场打码 HTTP 200） 风语《公开数据目录》页（公开数据页，当场打码 HTTP 200）