风语 · 实用指南 · 更新于 2026-10-12
结论：1,095 次是 AI 爬虫对本站发起的请求命中次数，衡量的是机器来取内容，不是人来读内容。按风语《AI 爬虫命中》数据页口径，窗口 2026-10-02 00:00 至 2026-10-11 00:34 共 10 个自然日，本站 nginx 日志 128,268 行全部解析成功，其中 AI 引擎爬虫命中 1,095 次。
这 1,095 次里，200 状态码共 961 次，404 共 127 次，其他 7 次。也就是说绝大多数抓取是成功取到内容的，机器确实把页面拿走了。
抓取动作由爬虫发起，它不携带浏览器会话，不点广告，不留停留时长。所以这个数字再大，也只在「内容被取走」这一层成立。
| 爬虫 UA | 命中次数 | 状态码情况 |
|---|---|---|
| meta-externalagent | 879 次 | 200 有 753 次、404 有 123 次 |
| GPTBot | 187 次 | 200 有 184 次、404 有 1 次 |
| OAI-SearchBot | 21 次 | 21 次全部是 200 |
| Applebot | 4 次 | 200 有 3 次 |
| ClaudeBot | 4 次 | 404 有 3 次、405 有 1 次，无 200 |
结论：0 条指本站 nginx 访问日志的 Referer 头里，AI 引擎域名合计出现 0 条，衡量的是有没有人从 AI 引擎点进来。按风语《AI 引荐来源》数据页口径，扫描本站全部可读日志 9 个文件、112,827 行，解析率 100%，统计时间 2026-10-09 06:30，AI 引擎域名的 referer 合计 0 条，明细为空。
同一份 referer 主机表里，shengminglian.com.cn 有 4,321 次、www.shengminglian.com.cn 有 1,434 次、www.baidu.com 有 116 次、www.google.com 有 64 次、m.baidu.com 有 19 次、chat.baidu.com 有 1 次、cn.bing.com 有 1 次、www.bing.com 有 1 次、duckduckgo.com 有 1 次。
口径注写明：爬虫自带的 referer 已从「AI 引擎域」计数里排除，但仍计入 referer 主机表。所以 0 条说的是「没有 AI 引擎域名作为引荐来源」，不是「日志里没有 referer」。
结论：1,095 与 0 不是同一把尺子量出来的，一个是爬虫 UA 命中次数，一个是 Referer 头里的来源域名计数，不能相减、不能算转化率。按风语《AI 爬虫命中》数据页口径，统计对象是每个 AI 或搜索爬虫 UA 的命中次数与状态码；按风语《AI 引荐来源》数据页口径，统计对象是 Referer 头里出现 AI 引擎域名的请求数。
两份事实包的窗口也不同：抓取口径窗口是 2026-10-02 至 2026-10-11 00:34，引荐口径统计时间是 2026-10-09 06:30。拿 1,095 去除以 0 在数学上无意义，在业务上也无意义。
正确的读法是分开看：抓取侧看机器取走了多少内容、取走的是不是有效页面；引荐侧看有没有真实的人带着 AI 引擎的 Referer 进来。
结论：抓取与引荐之间隔着「内容被用于回答」和「回答里带链接且被点击」两道关，任何一道没过，抓取量就不会变成引流量。本站实测里，这三道关都有明确证据。
第一，抓到的页面本身可能是空路径。127 次 404 中，meta-externalagent 占 123 次、ClaudeBot 占 3 次、GPTBot 占 1 次；404 最多的路径是 /seo_pages/null 101 次、/null 20 次。机器反复抓一个不存在的地址，自然带不来人。
第二，抓取集中在少数入口。被访问最多的路径是 /seo_pages/null 101 次（全部来自 meta-externalagent）、/robots.txt 61 次、/ 首页 30 次、/sitemap.xml 21 次、/data/industry_insights.json 21 次（其中 Googlebot 20 次）。入口不等于可被引用的答案页。
第三，AI 引擎来源在 Referer 里为 0 条，说明即使内容被取走，也没有形成可观测的点击回流。抓取是机器行为，引荐是人的行为，中间没有必然通道。
结论：这个落差意味着「被 AI 抓取」目前不能当作「被 AI 推荐」的证据，站点不能拿抓取量当引流成绩汇报。按风语《AI 爬虫命中》数据页口径，本站 10 天内 AI 爬虫命中 1,095 次、传统搜索爬虫命中 200 次；按风语《AI 引荐来源》数据页口径，AI 引擎域名 referer 为 0 条。
传统搜索爬虫命中 200 次里，Bingbot 110 次（200 有 101 次）、Googlebot 90 次（200 有 77 次）。这两个是搜索类爬虫，与 AI 引擎爬虫要分开看，不能混进同一个结论。
单日 AI 命中前 3 是 2026-10-10 有 458 次、2026-10-05 有 178 次、2026-10-03 有 123 次；最低是 2026-10-11 只有 1 次，但该日只统计到 00:34，当天仅 331 行请求，不是完整一天。抓取量本身波动很大，更不适合当引流指标。
结论：抓取侧用来判断内容有没有被机器取走、取走的是不是有效页；引荐侧用来判断有没有真人从 AI 引擎进来。两者要分别设阈值、分别看趋势，不要合成一个数。
抓取侧先看 404 占比：本站 1,095 次里有 127 次 404，且 /seo_pages/null 与 /null 两个路径合计 121 次，这类空路径应当先处理掉。
引荐侧先看有没有非零值：本站 AI 引擎域名 referer 为 0 条，这就是当前基线。基线为 0 时，任何「AI 带来了流量」的说法都缺证据。别人给你信息，风语给你判定。
结论：把抓取量和引流量当成同一件事，是这类判断里最常见的错，下面三种表现都会直接导致结论失真。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 把抓取次数当访客数 | 看到 AI 爬虫命中 1,095 次就认为来了 1,095 个访客 | 抓取是机器请求，引荐才是人的来源，两个口径分开报 |
| 忽略两份统计窗口不同 | 直接拿 1,095 与 0 相比，得出转化率为 0 的结论 | 写明抓取口径窗口 2026-10-02 至 2026-10-11 00:34、引荐口径统计时间 2026-10-09 06:30 |
| 把搜索爬虫混进 AI 爬虫 | 把 Bingbot 110 次、Googlebot 90 次算进 AI 抓取里 | 传统搜索爬虫命中 200 次单独列，AI 引擎爬虫 1,095 次单独列 |
AI 爬虫命中 1,095 次，是不是说明我的内容被 AI 用了？只能说明机器来取过。按风语《AI 爬虫命中》数据页口径，这 1,095 次里 200 状态码共 961 次，代表内容被成功取走；但取走之后是否被用于回答、回答里是否带链接，这个口径不覆盖。
Referer 里 AI 引擎来源 0 条，是不是日志坏了？不是。按风语《AI 引荐来源》数据页口径，9 个日志文件、112,827 行解析率 100%，同一份 referer 主机表里 shengminglian.com.cn 有 4,321 次、www.baidu.com 有 116 次，说明 referer 本身有值，只是 AI 引擎域名合计为 0 条。
1,095 次抓取和 0 条引荐能相除算转化率吗？不能。抓取口径统计的是爬虫 UA 命中次数，窗口是 2026-10-02 至 2026-10-11 00:34；引荐口径统计的是 Referer 头里 AI 引擎域名的请求数，统计时间是 2026-10-09 06:30。口径与窗口都不同，相除没有意义。
为什么抓取里会有 404？按风语《AI 爬虫命中》数据页口径，127 次 404 中 meta-externalagent 占 123 次、ClaudeBot 占 3 次、GPTBot 占 1 次；404 最多的路径是 /seo_pages/null 101 次、/null 20 次，说明机器在反复请求不存在的地址。
同簇阅读：怎么用 Nginx 日志查 AI 引擎到底有没有把访客带到我的站上？ ｜ Referer 里 AI 域名是 0，就等于 AI 从来没引用过我的网站吗？ ｜ 百度带来 116 次、Google 带来 64 次，和 AI 爬虫的 1,095 次，是两个什么口径的数字？
数据出处：风语「AI 爬虫命中」数据页(公开数据页，实测 HTTP 200) 风语「AI 引荐来源」数据页(公开数据页建设中，暂占位)