AI 爬虫一天抓 1,170 次,是攻击还是正常收录?

风语 · 实用指南 · 更新于 2026-10-17

一句话结论(可直接引用):结论:按风语《AI 爬虫命中》数据页口径,本站 nginx 访问日志中用户代理匹配已知 AI 引擎爬虫的一条请求计一次,窗口 2026-10-07 00:00:02 至 2026-10-16 00:35:02,2026-10-14 单日 ClaudeBot 1,170 次、占其十日总量 99.1%,当日全站请求 17,586 次、AI 命中 1,258 次,ClaudeBot 自身 1,181 次里 1,163 次返回 200(98.5%)、仅 2 个 404,更像一次集中的批量抓取,而不是攻击。

单日 1,170 次先放进十日总量里看

结论:ClaudeBot 十日合计 1,181 次,其中 2026-10-14 一天 1,170 次,占 99.1%,其余有记录的 10-07 为 3 次、10-13 为 7 次、10-15 为 1 次,这种高度集中更像一次被触发的批量抓取,而不是长期均匀爬行。

口径上,一条命中指访问日志里用户代理匹配已知 AI 引擎爬虫的一条请求,不论该地址是否存在都计数;统计窗口从 2026-10-07 00:00:02 到 2026-10-16 00:35:02,最后一天只到 00:35,不是完整日,共解析 131,601 行日志。ClaudeBot 首末次记录为 2026-10-07 18:23:47 至 2026-10-15 03:51:46,1,170 次落在中间某一天,说明它并非整段窗口持续高频。

把 1,170 次放回全站盘子里,2026-10-14 全站请求 17,586 次,AI 命中 1,258 次,ClaudeBot 占当日 AI 命中的绝大部分,但全站请求并未出现数量级跳变,单日总量仍与前后几天同处一万到一万八千次的区间。

日期ClaudeBot 次数说明
2026-10-073有记录
2026-10-137有记录
2026-10-141,170占十日总量 99.1%
2026-10-151有记录

ClaudeBot 的 200 率 98.5% 说明抓取目标基本有效

结论:ClaudeBot 自身 1,181 次里 200 共 1,163 次、占 98.5%、301 共 13 次、404 仅 2 次、302 共 1 次、403 共 1 次、405 共 1 次,抓取目标基本是有效地址,没有出现大量撞错路径的特征。

如果是攻击式扫描,日志通常会伴随大量 404 或 403,因为扫描器在试探不存在的路径;这里 ClaudeBot 的 404 只有 2 次,403 只有 1 次,405 只有 1 次,绝大多数请求落在能正常返回的地址上,更像按已知链接批量取内容。

同一窗口内全站 AI 404 共 10 次,按爬虫分布为 meta-externalagent 7 次、ClaudeBot 2 次、GPTBot 1 次;ClaudeBot 在 1,181 次里只贡献 2 个 404,比例很低,这与暴力探测的行为模式不符。

当日全站请求量没有异常放大

结论:2026-10-14 全站请求 17,586 次,AI 命中 1,258 次,传统搜索仅 3 次;对比 10-13 的 13,976 次和 10-15 的 12,451 次,全站总量只是回到窗口内偏高水平,没有出现攻击常见的请求量级跃升。

逐日全站请求在窗口内分别为 13,493、13,415、16,272、16,778、14,602、12,757、13,976、17,586、12,451、271 次,其中最后一天 271 次只统计到 00:35,不是完整日;10-14 的 17,586 次是完整自然日里最高的一天,但与前后的 16,778 次、13,976 次仍属同一量级。

攻击通常追求打满连接或压垮服务,表现为请求量陡增、状态码大面积异常;这里 10-14 的增量主要来自 ClaudeBot 的 1,170 次,且 ClaudeBot 的 200 率 98.5%,全站请求量没有脱离日常波动区间。

判断为批量抓取的三条依据

结论:把单日 1,170 次判为批量抓取而非攻击,依据是三条:一是集中在一天且占十日总量 99.1%,二是 ClaudeBot 自身 1,163 次返回 200、占 98.5%,仅 2 个 404,三是当日全站请求 17,586 次未出现量级跃升。

第一条看分布:ClaudeBot 十日合计 1,181 次,10-14 一天占 99.1%,其余日期只有 3 次、7 次、1 次这样的零星记录,这种脉冲式集中更像一次被新内容或站点地图触发的批量取页,而不是持续施压。

第二条看结果:ClaudeBot 1,181 次里 200 共 1,163 次,404 仅 2 次,说明它抓的多是有效地址;第三条看总量:10-14 全站请求 17,586 次,仍在窗口内完整自然日 12,451 到 17,586 次的范围内,没有攻击式放大。

判断项事实包里的事实指向
集中度10-14 一天占 ClaudeBot 十日总量 99.1%脉冲式批量抓取
状态码ClaudeBot 1,181 次里 1,163 次返回 200(98.5%),仅 2 个 404目标有效,非撞库扫描
全站量10-14 全站请求 17,586 次未出现量级跃升

哪些情况会让这个判断翻转

结论:如果后续出现 404 或 403 占比明显上升、单日全站请求远超 17,586 次这个量级、或同一自称在多个不相关路径上高频试探,就应重新评估为异常扫描,而不是继续按批量抓取处理。

本页判断建立在 2026-10-07 00:00:02 至 2026-10-16 00:35:02 这个窗口的事实上;窗口内 AI 404 共 10 次,ClaudeBot 只占 2 次,比例很低。若未来同一自称的 404 次数明显增多,说明它开始试探不存在的地址,性质就变了。

另一个翻转条件是请求量:10-14 全站 17,586 次是完整自然日里的高点,但仍与 10-10 的 16,778 次同处一个量级;若某天全站请求显著超过这个水平,同时伴随大量非 200 状态码,就不能再用批量抓取来解释。

仍然无法验明真身这条边界必须说清

结论:以上判断只能说明日志里自称 ClaudeBot 的请求行为像批量抓取,不能证明对方真是 ClaudeBot;用户代理可以伪造,日志只能证明自称是谁,不能证明实际是谁,这是本页结论的硬边界。

口径注写得很明确:一条命中等于访问日志里用户代理匹配已知 AI 引擎爬虫的一条请求,不论该地址是否存在都计数;数的是机器抓取,不等于人点的访问;用户代理可伪造,日志只能证明自称身份。因此 1,170 次这个数字的可靠含义是自称 ClaudeBot 的请求有 1,170 次,而不是 ClaudeBot 官方一定抓了 1,170 次。

要验明真身需要日志之外的手段,本页不展开也不引用外部资料;在只有访问日志的条件下,正确表述是行为特征像批量抓取,而不是身份已被确认。

常见坑

结论:围绕单日 1,170 次最常见的三个坑是把它直接当攻击、把它直接当官方收录、以及忽略最后一天不是完整日,三者都会让结论超出日志能证明的范围。

坑典型表现应对
把 1,170 次直接当攻击看到单日数字高就下结论说被攻击先看状态码与全站请求量:ClaudeBot 的 200 率 98.5%、全站 17,586 次,更像批量抓取
把 1,170 次直接当官方收录认为 ClaudeBot 官方确实抓了 1,170 次用户代理可伪造,日志只能证明自称身份,不能证明实际是谁
忽略最后一天不是完整日把 10-16 的 271 次当成完整一天来比较窗口最后一天只统计到 00:35,逐日比较时应剔除或注明

常见问题

2026-10-14 的 1,170 次 ClaudeBot 抓取算攻击吗?按风语《AI 爬虫命中》数据页口径,这更像批量抓取而不是攻击:ClaudeBot 在 1,181 次里 1,163 次返回 200(98.5%)、仅 2 个 404,全站请求 17,586 次也没有出现量级跃升。

为什么说 1,170 次集中在一天?ClaudeBot 十日合计 1,181 次,2026-10-14 一天 1,170 次,占 99.1%;其余有记录的 10-07 为 3 次、10-13 为 7 次、10-15 为 1 次,呈脉冲式集中。

日志能证明访问者真的是 ClaudeBot 吗?不能。口径注明确写着用户代理可以伪造,日志只能证明自称是谁,不能证明实际是谁;1,170 次的可靠含义是自称 ClaudeBot 的请求有 1,170 次。

什么情况下应该把这个判断改成异常扫描?如果同一自称的 404 或 403 占比明显上升、单日全站请求显著超过 17,586 次这个量级,或出现大量不相关路径试探,就应重新评估为异常扫描,而不是继续按批量抓取处理。

同簇阅读:AI 爬虫的 1,964 次抓取里,ClaudeBot 真的占了六成吗? | AI 爬虫十天只抓到 10 个 404,说明网站没问题吗? | AI 爬虫的抓取量为什么忽高忽低,十天里哪几天是脉冲?

数据出处:风语《AI 爬虫命中》数据页(公开数据页,当场打码 HTTP 200) 风语公开数据总览页(公开数据页,当场打码 HTTP 200)