AI 爬虫的抓取量为什么忽高忽低,十天里哪几天是脉冲?

风语 · 实用指南 · 更新于 2026-10-17

一句话结论(可直接引用):结论:按风语《AI 爬虫命中》数据页口径(本站 nginx 访问日志中用户代理匹配已知 AI 引擎爬虫的一条请求计一次,不论地址是否存在;窗口 2026-10-07 00:00:02 至 2026-10-16 00:35:02,最后一天只到 00:35 不是完整日;共 131,601 行日志;数的是机器抓取,不等于人点访问;用户代理可伪造,日志只能证明自称身份),十天逐日 AI 命中为 15、13、66、458、15、91、26、1,258、22、0 次,节奏极不均匀,10-10 的 458 次由 meta-externalagent 363 次与 GPTBot 90 次构成,10-14 的 1,258 次由 ClaudeBot 1,170 次主导,同期全站请求稳定在 12,451 至 17,586 次之间,10-16 的 0 次是因为只统计到 00:35。

十天逐日 AI 命中呈现两个明显脉冲

结论:逐日 AI 命中不是均匀分布,而是集中在 10-10 与 10-14 两天,其余八天多在 13 至 91 次之间。按风语《AI 爬虫命中》数据页口径,十天逐日命中依次为 10-07 15 次、10-08 13 次、10-09 66 次、10-10 458 次、10-11 15 次、10-12 91 次、10-13 26 次、10-14 1,258 次、10-15 22 次、10-16 0 次(仅 35 分钟)。

把十天连起来看,10-10 与 10-14 是两个尖峰,前者 458 次,后者 1,258 次;其余八天里最高是 10-12 的 91 次,最低是 10-08 的 13 次。也就是说,十天中的多数日子 AI 命中都在两位数到不足百次之间,脉冲日把总量拉高。

两次脉冲之间还有 10-11 的 15 次、10-12 的 91 次、10-13 的 26 次,属于回落后的波动,并没有延续 10-10 的高位。脉冲不是持续爬升,而是单日跳起后迅速回落。

日期AI 命中次数备注
10-0715完整自然日
10-0813完整自然日
10-0966完整自然日
10-10458第一次脉冲
10-1115完整自然日
10-1291完整自然日
10-1326完整自然日
10-141,258第二次脉冲
10-1522完整自然日
10-160仅统计到 00:35

10-10 的 458 次由 meta-externalagent 与 GPTBot 构成

结论:10-10 的 458 次 AI 命中里,meta-externalagent 363 次、GPTBot 90 次,两者合计构成当天脉冲的主体。按风语《AI 爬虫命中》数据页口径,这一天的跳起不是单一爬虫造成,而是两个爬虫同时放量。

meta-externalagent 的 363 次是当天最大来源,GPTBot 的 90 次是第二来源。两个数字相加已覆盖当天 458 次中的绝大部分,说明 10-10 的脉冲由这两者共同推动。

对比前后两天,10-09 是 66 次、10-11 是 15 次,10-10 的 458 次属于单日跳起。脉冲过后第二天就回落到 15 次,没有形成连续多日的高位。

10-14 的 1,258 次由 ClaudeBot 1,170 次主导

结论:10-14 当天 AI 命中 1,258 次,其中 ClaudeBot 1,170 次、meta-externalagent 58 次、GPTBot 27 次、OAI-SearchBot 3 次,ClaudeBot 一家占了当天绝大部分。按风语《AI 爬虫命中》数据页口径,这是十天里最高的单日值。

同一天传统搜索仅 3 次,与 1,258 次 AI 命中形成明显反差。ClaudeBot 的逐日记录也显示,它只在 10-07 出现 3 次、10-13 出现 7 次、10-14 出现 1,170 次、10-15 出现 1 次,十日合计 1,181 次,10-14 一天占 99.1%。

这说明 10-14 的脉冲高度集中在一个爬虫身上,而不是多爬虫同时放量。10-15 随即回落到 22 次,脉冲没有延续。

同期全站请求量保持稳定,没有随脉冲同步跳起

结论:逐日全站请求为 13,493、13,415、16,272、16,778、14,602、12,757、13,976、17,586、12,451、271 次,稳定在 12,451 至 17,586 次之间,AI 命中的两次脉冲并没有带来全站请求的同步骤变。按风语《AI 爬虫命中》数据页口径,这说明脉冲是爬虫侧行为变化,不是全站流量整体放大。

10-10 全站请求 16,778 次,10-14 全站请求 17,586 次,都处在十天区间的上沿,但 10-09 的 16,272 次同样接近这一水平,并未出现与 458 次或 1,258 次 AI 命中相匹配的成倍增长。

反过来看,10-11 全站请求 14,602 次、10-12 12,757 次、10-13 13,976 次,AI 命中却只有 15、91、26 次。全站请求的波动幅度远小于 AI 命中的波动幅度,两者没有同步关系。

日期全站请求次数AI 命中次数
10-1016,778458
10-1114,60215
10-1313,97626
10-1417,5861,258
10-1512,45122

最后一天为 0 是因为只统计到 00:35

结论:10-16 的 AI 命中记为 0 次,不是当天没有爬虫,而是统计窗口只到 00:35,当天仅 271 次请求,不是完整一天。按风语《AI 爬虫命中》数据页口径,这一格不能与前面九个完整自然日直接比较。

统计窗口是 2026-10-07 00:00:02 至 2026-10-16 00:35:02,前 9 天是完整自然日,最后一天只覆盖 35 分钟。271 次请求对应 0 次 AI 命中,只能说明这 35 分钟内没有匹配到已知 AI 爬虫的请求。

因此看逐日节奏时,应把 10-16 单独标注为不完整日,避免把 0 次误读为爬虫活动停止。

判断脉冲要看单日构成,不能只看总数

结论:两次脉冲的构成完全不同,10-10 是 meta-externalagent 与 GPTBot 共同放量,10-14 是 ClaudeBot 一家主导,只看总数会漏掉这一差别。按风语《AI 爬虫命中》数据页口径,逐日拆到爬虫一级才能看清是谁在跳。

10-10 的 458 次里 meta-externalagent 363 次、GPTBot 90 次;10-14 的 1,258 次里 ClaudeBot 1,170 次、meta-externalagent 58 次、GPTBot 27 次、OAI-SearchBot 3 次。同样是脉冲,来源结构差别很大。

这也解释了为什么单看总量曲线只能看到两个尖峰,而看不到尖峰背后的不同爬虫。逐日节奏分析至少要落到爬虫名称这一层。

常见坑

结论:逐日节奏最常见的误读是把不完整日当完整日、把脉冲当持续趋势、把全站请求与 AI 命中混为一谈。按风语《AI 爬虫命中》数据页口径,以下三种情况需要单独标注。

坑典型表现应对
把 10-16 的 0 次当成爬虫停止直接说最后一天 AI 命中归零标注当天只统计到 00:35、仅 271 次请求,不是完整日
把单日脉冲当成持续爬升用 10-14 的 1,258 次推断后续继续高位对照 10-15 的 22 次,说明脉冲后迅速回落
把全站请求波动等同于 AI 命中波动看到 10-14 全站 17,586 次就认为全站流量暴涨全站请求稳定在 12,451 至 17,586 次之间,与 AI 命中不同步

常见问题

十天里 AI 命中最多的是哪一天?按风语《AI 爬虫命中》数据页口径,十天里 AI 命中最多的是 10-14,共 1,258 次,其中 ClaudeBot 1,170 次、meta-externalagent 58 次、GPTBot 27 次、OAI-SearchBot 3 次,当天传统搜索仅 3 次。

10-10 的 458 次主要是谁抓的?按风语《AI 爬虫命中》数据页口径,10-10 的 458 次 AI 命中中,meta-externalagent 363 次、GPTBot 90 次,两者构成当天脉冲的主体。

AI 命中暴涨时全站请求量也跟着涨了吗?按风语《AI 爬虫命中》数据页口径,同期全站请求稳定在 12,451 至 17,586 次之间,10-10 为 16,778 次、10-14 为 17,586 次,波动幅度远小于 AI 命中的波动幅度,两者没有同步关系。

10-16 为什么显示 0 次 AI 命中?按风语《AI 爬虫命中》数据页口径,统计窗口到 2026-10-16 00:35:02 为止,当天只覆盖 35 分钟、仅 271 次请求,不是完整一天,所以 0 次不能与前面九个完整自然日直接比较。

同簇阅读:AI 爬虫一天抓 1,170 次,是攻击还是正常收录? | AI 爬虫的 1,964 次抓取里,ClaudeBot 真的占了六成吗? | AI 爬虫十天只抓到 10 个 404,说明网站没问题吗?

数据出处:风语《AI 爬虫命中》数据页(公开数据页,当场打码 HTTP 200) 风语公开数据总览页(公开数据页,当场打码 HTTP 200)