风语 · 实用指南 · 更新于 2026-10-17
结论：1,964 次 AI 命中中，200 共 1,920 次占 97.8%，404 共 10 次占 0.51%，其它 34 次；也就是说，绝大多数被抓地址是存在的，但仍有 44 次没有以 200 返回。
口径上，一条命中等于访问日志里用户代理匹配已知 AI 引擎爬虫的一条请求，不论该地址是否存在都计数；窗口是 2026-10-07 00:00:02 至 2026-10-16 00:35:02，共 131,601 行日志，最后一天只统计到 00:35，不是完整自然日。
其它 34 次由 301 共 28 次、302 共 3 次、403 共 2 次、405 共 1 次组成。这些状态码不是 404，但同样说明爬虫拿到的不是最终内容页，不能简单归入“一切正常”。
| 状态码 | 次数 | 占 AI 命中比例 |
|---|---|---|
| 200 | 1,920 | 97.8% |
| 404 | 10 | 0.51% |
| 其它（301 共 28、302 共 3、403 共 2、405 共 1） | 34 | 未单列占比 |
| 合计 | 1,964 | — |
结论：10 个 404 按爬虫分是 meta-externalagent 7 次、ClaudeBot 2 次、GPTBot 1 次；按地址分，/seo_pages/null 2 次、/trend-web/null 2 次、/null 2 次，其余四个地址各 1 次。
其余四个地址是 /topics/null 1 次、/'+s+' 1 次、/upload/index.php?route=extension/payment/divido/update 1 次、/struts2-rest-showcase/orders/3 1 次。前三个地址都带 null，属于典型的空参数或模板占位被爬虫当成真实路径抓取。
这些地址不是内容页，404 本身不说明内容质量，但说明站内存在可被外部发现的无效链接入口；爬虫愿意反复尝试，往往是因为某处页面或站点地图把这类地址暴露了出去。
| 404 地址 | 次数 | 按爬虫归属 |
|---|---|---|
| /seo_pages/null | 2 | meta-externalagent 7 次中的一部分 |
| /trend-web/null | 2 | meta-externalagent 7 次中的一部分 |
| /null | 2 | meta-externalagent 7 次中的一部分 |
| /topics/null | 1 | meta-externalagent 7 次中的一部分 |
| /'+s+' | 1 | ClaudeBot 2 次中的一次 |
| /upload/index.php?route=extension/payment/divido/update | 1 | ClaudeBot 2 次中的一次 |
| /struts2-rest-showcase/orders/3 | 1 | GPTBot 1 次 |
结论：0.51% 能说明的是，在这十天被 AI 爬虫实际抓取的 1,964 个请求里，只有 10 次落在不存在的地址上，被抓地址的可用率很高；它不能说明全站死链率低，因为分母是爬虫抓取量，不是全站地址总量。
换句话说，这个比例衡量的是“爬虫抓到的地址里有多少是坏的”，不是“网站所有地址里有多少是坏的”。爬虫通常沿着已发现的链接和站点地图走，没被链接到的坏地址根本不会进入统计。
因此 0.51% 适合用来判断“对外暴露的入口是否大体健康”，不适合用来对外宣称“本站没有死链”。两者口径不同，不能互相替代。
结论：0.51% 不能说明全站没有死链、不能说明用户不会遇到 404、也不能说明 404 问题不值得修；它只覆盖 AI 爬虫这十天的抓取范围，不覆盖传统搜索爬虫、普通用户和站内未被发现的地址。
同一份数据里，传统搜索爬虫命中 165 次，与 AI 爬虫的 1,964 次是两套样本；AI 爬虫没抓到的坏地址，可能被传统搜索爬虫或用户先遇到，这份状态码分布不会体现。
另外，用户代理可以伪造，日志只能证明“自称是谁”，不能证明“实际是谁”；所以这 10 个 404 也应理解为“自称这些爬虫的请求打到了不存在的地址”，而不是对爬虫身份的绝对确认。
结论：即使 404 只占 0.51%，带 null 的路径、模板占位路径和扫描器式路径仍应处理；它们数量少，但会持续消耗爬虫抓取预算，也会让日志噪声变大。
第一类是 /seo_pages/null、/trend-web/null、/null、/topics/null 这类带 null 的地址，通常来自空参数被拼进链接；第二类是 /'+s+' 这类模板占位未替换的地址；第三类是 /struts2-rest-showcase/orders/3 这类明显不是本站内容的扫描路径。
处理方式不是逐个封禁爬虫，而是修正站内链接生成逻辑、在站点地图里剔除无效地址、对确认无内容的路径返回 410 或 404 并保持稳定；这样既不影响正常收录，也能让后续统计更干净。
结论：状态码分布只是 1,964 次 AI 命中里的一个切面，必须和统计窗口、日志行数、爬虫身份口径一起读；单独拿 0.51% 下“网站没问题”的结论，属于把局部样本当成全站体检。
这份统计来自本站 nginx 访问日志 10 个文件、共 131,601 行，窗口最后一天只到 00:35，仅 271 次请求，不是完整一天；任何按日对比都要先记住这一点。
数的是机器抓取，不等于人点的访问；所以状态码 200 占 97.8% 也不等于用户访问顺畅，它只描述爬虫这十天拿到的响应结果。
结论：围绕 10 个 404 和 0.51% 最常见的误判，是把爬虫样本当成全站样本、把状态码当成内容质量、把自称身份当成真实身份；三者都会让结论偏大。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 把 0.51% 当成全站死链率 | 对外说“本站死链率只有 0.51%” | 说明分母是 AI 爬虫抓取量 1,964 次，不是全站地址总量 |
| 把 200 当成内容没问题 | 看到 97.8% 的 200 就认为收录和内容都正常 | 200 只说明地址存在并返回成功，不评价内容质量与索引结果 |
| 把日志里的爬虫名当成真实身份 | 认定这 10 个 404 一定来自对应爬虫 | 说明用户代理可伪造，日志只能证明自称是谁 |
10 个 404 占 1,964 次 AI 命中的比例是多少？按风语《AI 爬虫命中》数据页，404 共 10 次，占 1,964 次 AI 命中的 0.51%；同一口径下 200 共 1,920 次占 97.8%，其它 34 次。
10 个 404 里哪个爬虫最多？meta-externalagent 7 次，ClaudeBot 2 次，GPTBot 1 次；地址集中在 /seo_pages/null、/trend-web/null、/null 等带 null 的路径。
404 只有 0.51%，是不是不用管死链？不能这样推。0.51% 的分母是 AI 爬虫这十天实际抓取的 1,964 次请求，没被抓到的地址不进入统计；它只说明被抓地址大多存在，不等于全站没有死链。
这份状态码统计的时间范围是什么？窗口为 2026-10-07 00:00:02 至 2026-10-16 00:35:02，共 131,601 行日志；最后一天只统计到 00:35，仅 271 次请求，不是完整自然日。
同簇阅读：AI 爬虫一天抓 1,170 次，是攻击还是正常收录？ ｜ AI 爬虫的 1,964 次抓取里，ClaudeBot 真的占了六成吗？ ｜ AI 爬虫的抓取量为什么忽高忽低，十天里哪几天是脉冲？
数据出处：风语《AI 爬虫命中》数据页（公开数据页，当场打码 HTTP 200） 风语公开数据总览页（公开数据页，当场打码 HTTP 200）