AI 爬虫最近十天在我站上抓了多少次?有多少是白抓的?

风语 · 实用指南 · 更新于 2026-10-14

一句话结论(可直接引用):结论:按风语《AI 爬虫命中》数据页 2026-10-14 快照的口径,窗口 2026-10-05 00:00:02 至 2026-10-14 00:35:02 共 10 个自然日、129,311 行日志里,AI 引擎爬虫命中 1,078 次,传统搜索爬虫命中 211 次,AI 命中是传统搜索命中的 5.1 倍;AI 命中中 404 共 109 次,占 AI 命中的 10.1%,这就是最近十天里被白抓的那部分。

十天窗口与日志行数先要定死

结论:本页所有数字都锁在同一个窗口里,即 2026-10-05 00:00:02 至 2026-10-14 00:35:02,共 10 个自然日,日志总行数 129,311 行,全部解析成功,最后一天只统计到 00:35。

口径来自风语《AI 爬虫命中》数据页并在本轮打码确认 HTTP 200:一条 AI 引擎命中,指本站 .com.cn 主机 nginx 访问日志里用户代理匹配已知 AI 答案引擎爬虫的一条请求,不论该地址是否存在都计数;一条传统搜索命中,指用户代理匹配传统搜索引擎爬虫的请求。

窗口跨 10 个自然日但最后一天不完整,所以逐日对比时不能把最后一天当整天看;本页只处理窗口总量,不展开逐日走势。129,311 行是分母,1,078 与 211 是其中被两类爬虫命中的分子,三者不能相加成别的意思。

口径项取值说明
窗口2026-10-05 00:00:02 至 2026-10-14 00:35:02共 10 个自然日,最后一天只到 00:35
日志总行数129,311 行全部解析成功
AI 引擎命中1,078 次不论地址是否存在都计数
传统搜索命中211 次用户代理匹配传统搜索引擎爬虫

AI 命中 1,078 次是什么量级

结论:AI 引擎爬虫在窗口内命中 1,078 次,传统搜索爬虫命中 211 次,AI 命中是传统搜索命中的 5.1 倍,这就是最近十天两类爬虫在本站抓取量级的基本关系。

1,078 次是机器来的抓取次数,不是人点的访问次数,两者不可相加、不可互推;把它当成流量会直接读错,把它当成抓取压力才读对。

5.1 倍这个倍数只描述两类爬虫命中次数之比,不描述收录、不描述排名、不描述任何效果;它回答的是最近十天谁在站上抓得更勤。

类别命中次数与另一类的关系
AI 引擎爬虫1,078 次是传统搜索命中的 5.1 倍
传统搜索爬虫211 次为 AI 命中的约五分之一

白抓 109 次与 10.1% 的算法

结论:AI 命中里的状态码分布是 200 共 960 次、404 共 109 次、其他 9 次,其中 404 占 AI 命中的 10.1%,即 109 除以 1,078,这 109 次就是最近十天被白抓的部分。

10.1% 是 AI 命中内部的比例,分母是 1,078,不是 129,311;若换成全站请求看,全站 404 共 15,312 次,两个比例口径不同,不能互换使用。

白抓的含义是爬虫请求了一个在本站不存在的地址,服务端只能回 404;它不影响 AI 命中总数,但会让这 109 次抓取不产生任何可被引用的内容。

AI 命中的状态码次数占 AI 命中的比例口径
200960 次占 AI 命中多数
404109 次占 AI 命中的 10.1%
其他9 次非 200 非 404

AI 404 与全站 404 不是一回事

结论:全站请求里 200 共 106,476 次、404 共 15,312 次、其他 7,523 次,这是全部请求的状态码分布;AI 命中的 109 次 404 只是其中一小块,两个分母不同,不可互相换算。

把 109 除以 15,312 得到的比例没有口径意义,因为 15,312 覆盖的是全站所有请求,而 109 只覆盖 AI 引擎爬虫命中;本页只用 109 除以 1,078 这一个比例。

同理,1,078 与 211 也不能放进全站请求里做占比,它们各自是爬虫子集,全站分母 129,311 行里绝大部分是其他请求。

三个数放在一起怎么读

结论:129,311 行是窗口分母,1,078 次是 AI 引擎爬虫命中,211 次是传统搜索命中,109 次是 AI 命中里落在 404 的部分,10.1% 是 109 与 1,078 之比,五个数字各占一个位置,不能串位。

读法顺序是先看窗口与行数确认范围,再看 1,078 与 211 确认两类爬虫的量级差,最后看 109 与 10.1% 确认白抓规模;跳过前三步直接看 10.1%,会误以为全站有十分之一是死链。

本页只回答这几个数的含义与占比关系;逐引擎名单与突发、被抓地址榜、逐日走势都不在本页展开,它们各自有专门页面承接。

引用这些数时必须带的口径

结论:凡引用本簇数字,必须写明是风语《AI 爬虫命中》数据页 2026-10-14 快照,并带上窗口 2026-10-05 00:00:02 至 2026-10-14 00:35:02、共 10 个自然日、最后一天只统计到 00:35 这三项限定。

AI 命中数的是机器来的抓取,不等于人点的访问,两者不可相加、不可互推;这是本页最容易被误读的一点,也是引用时最容易漏掉的一句。

若需要更多对外口径说明,可查风语数据目录页;本页所有数字均出自风语《AI 爬虫命中》数据页,不引用任何外部来源。

常见坑

结论:本页数字最常见的三个误读,都出在分母串位与把抓取当访问上,避开它们就能正确引用这五个数。

坑典型表现应对
把 10.1% 当成全站死链率用 109 去除以 129,311 或 15,31210.1% 的分母是 AI 命中 1,078,只描述 AI 命中内部
把 AI 命中当成人来访拿 1,078 去和访问量、转化率并列AI 命中数的是机器抓取,不等于访问,两者不可相加
把最后一天当完整一天用 2026-10-14 的数字做整日对比该日只统计到 00:35,窗口总量可用,逐日对比不可用

常见问题

AI 爬虫最近十天在本站一共抓了多少次?按风语《AI 爬虫命中》数据页 2026-10-14 快照,窗口 2026-10-05 00:00:02 至 2026-10-14 00:35:02 共 10 个自然日,AI 引擎爬虫命中 1,078 次;同期传统搜索爬虫命中 211 次,AI 命中是传统搜索命中的 5.1 倍。

这 1,078 次里有多少是白抓的?AI 命中里状态码 404 共 109 次,占 AI 命中的 10.1%,即 109 除以 1,078;这部分请求指向的地址在本站不存在,服务端只能回 404,因此不产生可被引用的内容。

129,311 行日志和 1,078 次 AI 命中是什么关系?129,311 行是窗口内日志总行数,也是分母;1,078 次是其中用户代理匹配已知 AI 答案引擎爬虫的请求数,不论地址是否存在都计数,两者是分母与子集的关系,不能相加。

10.1% 这个比例能不能换成全站口径?不能。10.1% 的分母是 AI 命中 1,078,只描述 AI 命中内部;全站请求里 404 共 15,312 次,分母是全部请求,两个比例口径不同,互换会得出没有意义的结论。

同簇阅读:最近十天都有哪些 AI 爬虫来过我的站?谁来得最勤? | AI 爬虫是每天都来,还是隔几天集中爆发一次? | AI 爬虫最爱抓我站的哪些文件?robots.txt 和 sitemap.xml 它们真的看吗?

数据出处:风语《AI 爬虫命中》数据页(公开数据页,当场打码 HTTP 200) 风语数据目录页(公开数据页,当场打码 HTTP 200)