风语 · 实用指南 · 更新于 2026-10-24
结论：sitemap 提交数与 AI 实际读到的页面数是两个量级，534 条 loc 里被读的只有 43 条，占 8.05%，剩下 491 条在窗口内一次都没被 AI 爬虫碰过。
口径上，sitemap 快照取 2026-10-24 上午的 534 条 loc，全部是页面类地址；页面类地址指路径以 .html 结尾、以 / 结尾，或最后一段不含点号的地址。AI 爬虫指用户代理匹配已知 AI 引擎爬虫的一条请求，不论地址是否存在都计数。
把 43 与 534 放在一起看，就能明白 sitemap 的作用边界：它是一份候选清单，爬虫读不读、读多少，由爬虫的调度策略决定，提交动作本身不产生抓取排期。
| 对比项 | 数量 | 口径 |
|---|---|---|
| sitemap 快照 loc 数 | 534 条 | 2026-10-24 上午快照，全部页面类地址 |
| 被 AI 读过的 sitemap 页面 | 43 个 | 窗口内至少被 AI 爬虫请求一次 |
| 占 534 条的比例 | 8.05% | 43 ÷ 534 |
结论：AI 爬虫读过的页面并不都来自 sitemap，窗口内另有 19 个不在 sitemap 里的页面类地址被读过，例如 /geo/、/article.html、/workspace/、/learn/daily/。
这说明抓取入口不止 sitemap 一条：站内链接、外部提及、爬虫自身的历史队列，都可能把请求带到 sitemap 之外的地址上。
反过来看也一样成立：进了 sitemap 不等于会被读。534 条 loc 里 491 条在窗口内没有被 AI 爬虫请求，sitemap 的存在没有替它们换来抓取。
| 地址来源 | 被 AI 读过的页面数 | 说明 |
|---|---|---|
| sitemap 内页面 | 43 个 | 占 534 条 loc 的 8.05% |
| sitemap 外页面 | 19 个 | 例如 /geo/、/article.html、/workspace/、/learn/daily/ |
结论：sitemap.xml 文件本身在窗口内被 AI 爬虫抓取 16 次，16 次全部来自 GPTBot；同期 robots.txt 被 AI 爬虫抓取 42 次，其中 OAI-SearchBot 24 次、Bytespider 16 次、Applebot 2 次。
爬虫读 sitemap.xml，只说明它取走了这份清单，不说明它按清单逐条抓取。16 次读取对应 43 个 sitemap 页面被读到，两个数字之间没有一一对应关系。
robots.txt 的 42 次读取则来自三个不同的爬虫身份，同一份规则文件被不同爬虫按各自节奏取用，这也印证抓取节奏由爬虫各自决定。
| 文件 | AI 抓取次数 | 来源构成 |
|---|---|---|
| sitemap.xml | 16 次 | GPTBot 16 次 |
| robots.txt | 42 次 | OAI-SearchBot 24 次、Bytespider 16 次、Applebot 2 次 |
结论：AI 引擎爬虫在窗口内命中 502 次，其中页面类请求 78 次、文件请求 424 次，页面类只占 15.5%（78 ÷ 502），文件请求占 84.5%（424 ÷ 502）。
502 次命中落到 393 个不同地址：页面类地址 62 个、文件 331 个。按请求次数分，页面类 78 次、文件 424 次，两者相加正好 502。
换句话说，即便爬虫在抓，抓的也大多不是页面。把 502 次当成页面抓取量来理解，会明显高估页面被读的规模。
状态码分布上，200 共 454 次、206 共 32 次、304 共 13 次、403 共 1 次、404 共 1 次、301 共 1 次，绝大多数请求拿到了正常响应。
结论：同一窗口内传统搜索爬虫（Googlebot、Bingbot）命中 648 次，高于 AI 引擎爬虫的 502 次，两类爬虫的抓取规模处在同一量级。
这个对比的意义在于：sitemap 提交后，接住它的不只是 AI 爬虫，传统搜索爬虫也在按自己的节奏取用站点内容，两边的数字要分开看。
结论：sitemap 提交的正确理解是让页面进入候选，而不是给爬虫排定抓取时间表；534 条 loc 对应 43 条被读、8.05% 的比例，就是这一判断的直接证据。
候选清单的含义是：爬虫知道这些地址存在，是否请求、何时请求、请求几次，由它自己的策略决定。窗口内 sitemap.xml 被 GPTBot 取走 16 次，也没能把这 534 条变成 534 次页面抓取。
数的是机器抓取，不等于人点的访问，也不等于被收录或被引用；用户代理可伪造，日志只能证明自称身份。这一点在读任何抓取数字时都要一并带上。
结论：把 sitemap 提交数当成抓取承诺，是本簇最容易犯的错，下面三个坑都能用同一组数字拆掉。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 把 loc 数当抓取数 | 看到 534 条就认为会有 534 次页面抓取 | 对照 43 条被读、8.05%，sitemap 只是候选清单 |
| 把 sitemap.xml 被抓当成逐条抓取 | 看到 sitemap.xml 被抓 16 次就推断清单被逐条执行 | 16 次读取只代表清单被取走，不代表按条抓取 |
| 把 502 次命中当页面抓取量 | 用 502 次估算页面被读规模 | 页面类请求只有 78 次，占 15.5%，其余是文件请求 |
提交 sitemap 之后，AI 爬虫一定会来抓吗？不一定。窗口内 534 条 loc 只有 43 条被 AI 读过，占 8.05%，提交只让页面进入候选，抓不抓由爬虫决定。
sitemap.xml 被 AI 抓了 16 次，为什么页面只被读了 43 条？读 sitemap.xml 只说明爬虫取走了这份清单，不说明它按清单逐条抓取；16 次读取与 43 个页面被读之间没有一一对应关系。
AI 爬虫读的页面是不是都来自 sitemap？不是。窗口内另有 19 个不在 sitemap 里的页面类地址被 AI 读过，例如 /geo/、/article.html、/workspace/、/learn/daily/。
502 次 AI 命中里，有多少是页面请求？页面类请求 78 次，占 15.5%；文件请求 424 次，占 84.5%。502 次命中不能直接当作页面抓取量使用。
同簇阅读：AI 爬虫抓一个站，为什么抓了 331 个文件却只读了 62 个页面？ ｜ 新页面发布后，AI 爬虫多久来抓第一次？28 个页面的首抓间隔实测 ｜ sitemap 里的页面 AI 一次都没抓过，问题到底出在哪？
数据出处：风语《AI 爬虫命中》数据页（公开数据页，当场打码 HTTP 200） 风语《公开数据总览》数据页（公开数据页，当场打码 HTTP 200）