风语 · 实用指南 · 更新于 2026-10-04
结论先说：想知道 AI 引擎有没有抓过你的站，唯一可靠的办法是打开自己服务器的访问日志，按 UA 归类逐条数。AI 引擎不发通知，也没有一个「AI 爬虫报告」后台给你看。你不看日志，就等于没有证据。
常见的说法：等哪天在 AI 回答里刷到自己的名字，就知道它收录了。
我们怎么数：把窗口内每条请求的 UA 抽出来，AI 引擎一档、传统搜索一档，各数各的，抓过几次、落在哪个地址都记下来。
结论：两类爬虫要分开数，混在一起看不出结论。同一段窗口里，AI 引擎命中 528 次，传统搜索爬虫命中 546 次——数量看着接近，但背后的引擎完全不同，判断「有没有被 AI 看到」只能看前一档。
| 口径 | 数字 | 它数的是什么 |
|---|---|---|
| 解析的请求 | 130,548 条 | 窗口内 nginx 日志的全部行 |
| AI 引擎命中 | 528 次 | UA 属于 AI 引擎爬虫的请求 |
| 传统搜索命中 | 546 次 | Googlebot、Bingbot 这类搜索爬虫 |
| AI 命中里的 404 | 17 次 | 抓了但地址不存在 |
结论：528 次 AI 命中里，500 次返回 200、17 次返回 404、11 次是跳转或拒绝。拿到页面不等于进了回答。抓取只是「读过一遍」，真正的引用要等切分、检索、排序都过关。日志能证明前者，证明不了后者——这一点在那 17 次 404里还会展开。
结论：抓得最多的不是热门文章，而是 robots.txt 和首页。这符合爬虫的常规走法：先读规矩，再顺链接往下走。
| 地址 | AI 与搜索命中合计 |
|---|---|
| /robots.txt | 64 |
| / | 32 |
| /data/industry_insights.json | 21 |
| /sitemap.xml | 19 |
这份清单本身就是信号：如果 sitemap 和 robots.txt 被反复读，说明爬虫在按规矩找路；如果只有首页被读、更深一层全无，多半是站内链接太浅，爬虫走不下去。
结论：判断失败的人，多半不是没日志，而是把三类东西混成了一句。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 拿搜索当 AI | 看到 Googlebot 就说「AI 收录了」 | 两类分开数，只有 AI 档才算 |
| 拿抓取当收录 | 「日志里有 GPTBot，所以被引用了」 | 抓取只是读过，引用另算 |
| 不看 404 | 只数总命中，不看返回码 | 404 要单独拎出来 |
| 混两个窗口 | 把这个月的数和上个月拼一起 | 每份统计都标起止时间 |
| 只看一个引擎 | 只盯 GPTBot | 至少看全部 AI UA 的分布 |
AI 会通知我它来过吗？不会，只能自己看日志。
抓过就等于被引用吗？不等，读过和说出来的距离还很长。
这个窗口里 AI 命中多少次？528 次，另有 546 次来自传统搜索。
原始记录在哪？在风语「AI 爬虫命中」数据页，含字段口径与同类站点的公开统计。
同簇阅读：GPTBot、OAI-SearchBot、meta-externalagent 分别是谁？谁抓得最多？ ｜ AI 爬虫抓出了 404，说明什么？要不要专门处理？ ｜ 新页面多久会被 AI 爬虫发现？抓过一次还会再来吗？
数据出处：风语「AI 爬虫命中」数据页（含 AI 爬虫命中的字段定义与同类站点公开统计） ｜ 相关簇：中国「城市 × 产业」数据怎么看