风语 · 实用指南 · 更新于 2026-10-14
结论：地址榜第一名是 /seo_pages/null，被请求 86 次，而且这 86 次全部来自 meta-externalagent，它不是有效内容页，而是 404 死链。
按风语《AI 爬虫命中》数据页 2026-10-14 快照，地址榜前 9 名里 /seo_pages/null 以 86 次居首，/null 以 14 次并列出现，两者都指向空值参数被当成路径拼进了 URL。本簇 AI 命中的 404 共 109 次，其中 /seo_pages/null 占 86 次、/null 占 14 次，两条合起来就是 100 次，说明这批死链不是零散误抓，而是集中在一个可复现的地址模式上。
对站点来说，这个数字的价值不在排名，而在定位：只要 /seo_pages/null 这类地址还在被反复请求，就说明站内某处的链接、模板或参数拼接会生成空值路径。修掉生成源头，比在服务端一条条拦爬虫更省事。
| 被抓地址 | 抓取次数 | 来源与性质 |
|---|---|---|
| /seo_pages/null | 86 次 | 全部来自 meta-externalagent，属 404 死链 |
| /null | 14 次 | 全部来自 meta-externalagent，属 404 死链 |
| /trend-web/null | 2 次 | 属 404 死链 |
| /algo-api/api/v1/propagate/global-stats | 2 次 | 属 404 死链 |
| /topics/null | 1 次 | 属 404 死链 |
结论：/robots.txt 被请求 76 次，是地址榜第二名，而且由 5 个不同爬虫抓取，说明这份文件不是摆设，它被真实读取。
按风语《AI 爬虫命中》数据页 2026-10-14 快照，/robots.txt 的 76 次请求分别来自 Googlebot 35 次、OAI-SearchBot 25 次、Bingbot 12 次、Applebot 3 次、ClaudeBot 1 次。这 5 个爬虫里既有 AI 引擎也有传统搜索，覆盖面已经是本窗口出现过的 7 个爬虫中的 5 个。
这条数据的含义很直接：robots.txt 是被读取的，所以写在里面的规则有被看到的可能。但「被看到」不等于「被遵守」，也不等于「写进去就会生效」，它只说明这份文件在抓取路径上处于被访问的位置。
结论：/sitemap.xml 被请求 18 次，次数不算低，但这 18 次全部来自 GPTBot，来源高度集中。
按风语《AI 爬虫命中》数据页 2026-10-14 快照，/sitemap.xml 的 18 次抓取没有第二个来源，全部由 GPTBot 完成。把它和 /robots.txt 放在一起看就很清楚：robots.txt 是 5 个爬虫都看，sitemap.xml 只有 1 个爬虫在看。
这组对比解释了为什么不能把「提交了 sitemap」当成通用动作。不同爬虫对站点地图的取用习惯不一样，本窗口里愿意来取 sitemap.xml 的只有 GPTBot 一个，其余爬虫没有在这 10 天里请求过这个地址。
结论：/ 首页被请求 33 次，排在 /robots.txt 之后，而 /data/industry_insights.json 被请求 18 次、/today_data.json 被请求 7 次，数据类文件的抓取量明显低于入口文件。
按风语《AI 爬虫命中》数据页 2026-10-14 快照，/ 首页的 33 次来自 Googlebot 15 次、Bingbot 10 次、GPTBot 7 次、ClaudeBot 1 次；/data/industry_insights.json 的 18 次来自 Googlebot 17 次、Bingbot 1 次；/today_data.json 的 7 次来自 Googlebot 6 次、Bingbot 1 次。
可以看到一个规律：越靠近站点入口和规则文件的地址，被不同爬虫共同抓取的概率越高；越靠近具体数据接口的地址，抓取来源越集中在传统搜索爬虫身上。地址榜里还有 /platform.html 9 次、/echarts.min.js 8 次，属于页面与静态资源被顺带取走的部分。
| 地址 | 抓取次数 | 主要来源 |
|---|---|---|
| / | 33 次 | Googlebot 15、Bingbot 10、GPTBot 7、ClaudeBot 1 |
| /data/industry_insights.json | 18 次 | Googlebot 17、Bingbot 1 |
| /platform.html | 9 次 | 未在本页展开 |
| /echarts.min.js | 8 次 | 未在本页展开 |
| /today_data.json | 7 次 | Googlebot 6、Bingbot 1 |
结论：AI 命中里的 404 共 109 次，其中 /seo_pages/null 86 次、/null 14 次、/trend-web/null 2 次、/algo-api/api/v1/propagate/global-stats 2 次、/topics/null 1 次，其余各 1 次。
按风语《AI 爬虫命中》数据页 2026-10-14 快照，AI 404 占 AI 命中的 10.1%，也就是 109 除以 1,078。把这 109 次拆到地址上可以看到，前两条就占了 100 次，剩下的分散在若干各 1 次的零散地址上。
这个分布决定了处理顺序：先解决 /seo_pages/null 和 /null 这两个模式的生成来源，就能覆盖绝大多数死链抓取；剩下各 1 次的零散地址，属于长尾噪音，优先级明显更低。
结论：地址榜回答的是「哪些地址被机器反复取走」，不能回答「哪些爬虫更活跃」或「哪一天集中爆发」，后两者分别属于引擎名单与逐日走势的范围。
本页引用的数字全部来自风语《AI 爬虫命中》数据页 2026-10-14 快照，窗口为 2026-10-05 00:00:02 至 2026-10-14 00:35:02，共 10 个自然日，最后一天只统计到 00:35，因此最后一天的数据不是完整一天。
引用这些数字时必须带上口径：一条 AI 引擎命中指的是本站主机访问日志里用户代理匹配已知 AI 答案引擎爬虫的一条请求，不论该地址是否存在都计数；AI 命中数的是机器来的抓取，不等于人点的访问，两者不可相加、不可互推。
结论：地址榜最容易踩的坑是把「被抓次数」直接当成「页面价值」或「收录结果」，从而在死链和规则文件上做出错误判断。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 把死链当成热门页 | 看到 /seo_pages/null 86 次就以为这是站内重点内容 | 先确认状态码，本窗口它属于 404，应回到生成源头修链接 |
| 把「被看」当成「被遵守」 | 认为 /robots.txt 被 5 个爬虫抓过，规则就一定生效 | 把抓取记录与规则约束分开看，抓取记录只说明文件被访问过 |
| 把 sitemap 当成通用动作 | 以为提交 /sitemap.xml 后所有爬虫都会来取 | 本窗口只有 GPTBot 请求过它，应按爬虫分别观察 |
| 把机器抓取当成人访问 | 用 AI 命中数去推算流量或访客 | AI 命中数的是机器来的抓取，不等于人点的访问，两者不可相加 |
AI 爬虫抓得最多的地址是哪个？按风语《AI 爬虫命中》数据页 2026-10-14 快照，地址榜第一名是 /seo_pages/null，被请求 86 次，且这 86 次全部来自 meta-externalagent。它属于 404 死链，不是有效内容页。
robots.txt 真的会被 AI 爬虫读取吗？会。按风语《AI 爬虫命中》数据页 2026-10-14 快照，/robots.txt 被请求 76 次，来自 Googlebot 35 次、OAI-SearchBot 25 次、Bingbot 12 次、Applebot 3 次、ClaudeBot 1 次，共 5 个爬虫。被读取不等于被遵守，但说明这份文件处在被访问的路径上。
sitemap.xml 有哪些爬虫来取？按风语《AI 爬虫命中》数据页 2026-10-14 快照，/sitemap.xml 被请求 18 次，全部来自 GPTBot，没有第二个来源。所以在本窗口里，不能假设所有爬虫都会来取站点地图。
首页和数据接口的抓取量差别大吗？差别明显。按风语《AI 爬虫命中》数据页 2026-10-14 快照，/ 首页被请求 33 次，来源包括 Googlebot 15 次、Bingbot 10 次、GPTBot 7 次、ClaudeBot 1 次；而 /data/industry_insights.json 被请求 18 次、/today_data.json 被请求 7 次，来源更集中在传统搜索爬虫身上。
同簇阅读：AI 爬虫最近十天在我站上抓了多少次？有多少是白抓的？ ｜ 最近十天都有哪些 AI 爬虫来过我的站？谁来得最勤？ ｜ AI 爬虫是每天都来，还是隔几天集中爆发一次？
数据出处：风语《AI 爬虫命中》数据页（公开数据页，当场打码 HTTP 200） 风语数据目录页（公开数据页，当场打码 HTTP 200）