风语 · 实用指南 · 更新于 2026-10-04
结论先说：AI 爬虫拿到 404，绝大多数时候不是你的页面坏了，而是它按自己的规律乱试了一通。把 17 次 404 摊开看，能明显分成两堆：一堆是站内链接或模板拼错的真实死链，另一堆是安全探针的试探。两堆的处理方式完全相反。
常见的说法：404 多了就是网站质量差，AI 会不喜欢。
我们怎么数：把 404 全部列出来，逐条看它「该不该存在」，再决定是补页、改链，还是直接无视。
结论：数量和比例都不大，而且高度集中。17 次里，单条最多的一个地址出现了 5 次，前三条地址就占了其中的大部分。
| 地址 | 命中 | 性质 |
|---|---|---|
| /seo_pages/null | 5 | 模板漏出的死链 |
| /null | 3 | 模板漏出的死链 |
| /algo/_viz/' + esc(g.tool) + ' | 3 | 模板变量没渲染 |
| /.env.old 等配置探测 | 4 | 漏洞扫描探针 |
| 其余零散地址 | 2 | 混合 |
结论：凡是能把「null」和拼接片段写进地址的，都是生成代码的锅，不是爬虫的锅。像 /seo_pages/null 这种，说明生成页面时某个变量取空了，链接还是被写进了输出；/algo/_viz/… 那条更直接——连模板占位符都被当成地址发出去了。这类问题一修就是一批，值得动手。
结论：请求配置文件、备份文件、后台路径的，基本都不是来抓内容的。这批请求带着各种 UA，目的是撞运气找到没关好的入口。它们返回 404 恰好说明服务器把这些路径挡在了外面——这是好事。给它们补页面反而是自找麻烦。
结论：处理 404 出错，通常错在「一把抓」。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 全都要修 | 给探针地址也补上页面 | 先分成真死链与探针两堆 |
| 只看总数 | 看到 404 就慌，不看地址 | 逐条看地址才有结论 |
| 把 404 当内容差 | 以为 404 多会被 AI 降权 | 要看它抓的是不是真实页面 |
| 修完不复测 | 改完链接不回头看日志 | 下一窗口复查 404 是否清零 |
| 混淆两站 | 把不同站点的 404 数并成一份 | 每站每窗口单独统计 |
404 占比高吗？17 次占 AI 命中的 3.2%，是少数。
哪些该修？页面里真实存在、却指向错误地址的链接，以及模板拼错的固定死链。
探针要不要处理？不用，它们返回 404 本来就是被正确挡住。
原始记录在哪？在风语「AI 爬虫命中」数据页，含状态码与命中地址的字段口径。
同簇阅读：怎么知道 AI 引擎有没有来抓过我的网站？ ｜ GPTBot、OAI-SearchBot、meta-externalagent 分别是谁？谁抓得最多？ ｜ 新页面多久会被 AI 爬虫发现？抓过一次还会再来吗？
数据出处：风语「AI 爬虫命中」数据页（含 404 与状态码字段定义、同类站点公开统计） ｜ 相关簇：一份覆盖 179 个国家的「国家 × 行业」机会数据，到底该怎么读？