风语 · 实用指南 · 更新于 2026-10-17
结论:ClaudeBot 十日合计 1,181 次,其中 2026-10-14 一天 1,170 次,占 99.1%,其余有记录的 10-07 为 3 次、10-13 为 7 次、10-15 为 1 次,这种高度集中更像一次被触发的批量抓取,而不是长期均匀爬行。
口径上,一条命中指访问日志里用户代理匹配已知 AI 引擎爬虫的一条请求,不论该地址是否存在都计数;统计窗口从 2026-10-07 00:00:02 到 2026-10-16 00:35:02,最后一天只到 00:35,不是完整日,共解析 131,601 行日志。ClaudeBot 首末次记录为 2026-10-07 18:23:47 至 2026-10-15 03:51:46,1,170 次落在中间某一天,说明它并非整段窗口持续高频。
把 1,170 次放回全站盘子里,2026-10-14 全站请求 17,586 次,AI 命中 1,258 次,ClaudeBot 占当日 AI 命中的绝大部分,但全站请求并未出现数量级跳变,单日总量仍与前后几天同处一万到一万八千次的区间。
| 日期 | ClaudeBot 次数 | 说明 |
|---|---|---|
| 2026-10-07 | 3 | 有记录 |
| 2026-10-13 | 7 | 有记录 |
| 2026-10-14 | 1,170 | 占十日总量 99.1% |
| 2026-10-15 | 1 | 有记录 |
结论:ClaudeBot 自身 1,181 次里 200 共 1,163 次、占 98.5%、301 共 13 次、404 仅 2 次、302 共 1 次、403 共 1 次、405 共 1 次,抓取目标基本是有效地址,没有出现大量撞错路径的特征。
如果是攻击式扫描,日志通常会伴随大量 404 或 403,因为扫描器在试探不存在的路径;这里 ClaudeBot 的 404 只有 2 次,403 只有 1 次,405 只有 1 次,绝大多数请求落在能正常返回的地址上,更像按已知链接批量取内容。
同一窗口内全站 AI 404 共 10 次,按爬虫分布为 meta-externalagent 7 次、ClaudeBot 2 次、GPTBot 1 次;ClaudeBot 在 1,181 次里只贡献 2 个 404,比例很低,这与暴力探测的行为模式不符。
结论:2026-10-14 全站请求 17,586 次,AI 命中 1,258 次,传统搜索仅 3 次;对比 10-13 的 13,976 次和 10-15 的 12,451 次,全站总量只是回到窗口内偏高水平,没有出现攻击常见的请求量级跃升。
逐日全站请求在窗口内分别为 13,493、13,415、16,272、16,778、14,602、12,757、13,976、17,586、12,451、271 次,其中最后一天 271 次只统计到 00:35,不是完整日;10-14 的 17,586 次是完整自然日里最高的一天,但与前后的 16,778 次、13,976 次仍属同一量级。
攻击通常追求打满连接或压垮服务,表现为请求量陡增、状态码大面积异常;这里 10-14 的增量主要来自 ClaudeBot 的 1,170 次,且 ClaudeBot 的 200 率 98.5%,全站请求量没有脱离日常波动区间。
结论:把单日 1,170 次判为批量抓取而非攻击,依据是三条:一是集中在一天且占十日总量 99.1%,二是 ClaudeBot 自身 1,163 次返回 200、占 98.5%,仅 2 个 404,三是当日全站请求 17,586 次未出现量级跃升。
第一条看分布:ClaudeBot 十日合计 1,181 次,10-14 一天占 99.1%,其余日期只有 3 次、7 次、1 次这样的零星记录,这种脉冲式集中更像一次被新内容或站点地图触发的批量取页,而不是持续施压。
第二条看结果:ClaudeBot 1,181 次里 200 共 1,163 次,404 仅 2 次,说明它抓的多是有效地址;第三条看总量:10-14 全站请求 17,586 次,仍在窗口内完整自然日 12,451 到 17,586 次的范围内,没有攻击式放大。
| 判断项 | 事实包里的事实 | 指向 |
|---|---|---|
| 集中度 | 10-14 一天占 ClaudeBot 十日总量 99.1% | 脉冲式批量抓取 |
| 状态码 | ClaudeBot 1,181 次里 1,163 次返回 200(98.5%),仅 2 个 404 | 目标有效,非撞库扫描 |
| 全站量 | 10-14 全站请求 17,586 次 | 未出现量级跃升 |
结论:如果后续出现 404 或 403 占比明显上升、单日全站请求远超 17,586 次这个量级、或同一自称在多个不相关路径上高频试探,就应重新评估为异常扫描,而不是继续按批量抓取处理。
本页判断建立在 2026-10-07 00:00:02 至 2026-10-16 00:35:02 这个窗口的事实上;窗口内 AI 404 共 10 次,ClaudeBot 只占 2 次,比例很低。若未来同一自称的 404 次数明显增多,说明它开始试探不存在的地址,性质就变了。
另一个翻转条件是请求量:10-14 全站 17,586 次是完整自然日里的高点,但仍与 10-10 的 16,778 次同处一个量级;若某天全站请求显著超过这个水平,同时伴随大量非 200 状态码,就不能再用批量抓取来解释。
结论:以上判断只能说明日志里自称 ClaudeBot 的请求行为像批量抓取,不能证明对方真是 ClaudeBot;用户代理可以伪造,日志只能证明自称是谁,不能证明实际是谁,这是本页结论的硬边界。
口径注写得很明确:一条命中等于访问日志里用户代理匹配已知 AI 引擎爬虫的一条请求,不论该地址是否存在都计数;数的是机器抓取,不等于人点的访问;用户代理可伪造,日志只能证明自称身份。因此 1,170 次这个数字的可靠含义是自称 ClaudeBot 的请求有 1,170 次,而不是 ClaudeBot 官方一定抓了 1,170 次。
要验明真身需要日志之外的手段,本页不展开也不引用外部资料;在只有访问日志的条件下,正确表述是行为特征像批量抓取,而不是身份已被确认。
结论:围绕单日 1,170 次最常见的三个坑是把它直接当攻击、把它直接当官方收录、以及忽略最后一天不是完整日,三者都会让结论超出日志能证明的范围。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 把 1,170 次直接当攻击 | 看到单日数字高就下结论说被攻击 | 先看状态码与全站请求量:ClaudeBot 的 200 率 98.5%、全站 17,586 次,更像批量抓取 |
| 把 1,170 次直接当官方收录 | 认为 ClaudeBot 官方确实抓了 1,170 次 | 用户代理可伪造,日志只能证明自称身份,不能证明实际是谁 |
| 忽略最后一天不是完整日 | 把 10-16 的 271 次当成完整一天来比较 | 窗口最后一天只统计到 00:35,逐日比较时应剔除或注明 |
2026-10-14 的 1,170 次 ClaudeBot 抓取算攻击吗?按风语《AI 爬虫命中》数据页口径,这更像批量抓取而不是攻击:ClaudeBot 在 1,181 次里 1,163 次返回 200(98.5%)、仅 2 个 404,全站请求 17,586 次也没有出现量级跃升。
为什么说 1,170 次集中在一天?ClaudeBot 十日合计 1,181 次,2026-10-14 一天 1,170 次,占 99.1%;其余有记录的 10-07 为 3 次、10-13 为 7 次、10-15 为 1 次,呈脉冲式集中。
日志能证明访问者真的是 ClaudeBot 吗?不能。口径注明确写着用户代理可以伪造,日志只能证明自称是谁,不能证明实际是谁;1,170 次的可靠含义是自称 ClaudeBot 的请求有 1,170 次。
什么情况下应该把这个判断改成异常扫描?如果同一自称的 404 或 403 占比明显上升、单日全站请求显著超过 17,586 次这个量级,或出现大量不相关路径试探,就应重新评估为异常扫描,而不是继续按批量抓取处理。
同簇阅读:AI 爬虫的 1,964 次抓取里,ClaudeBot 真的占了六成吗? | AI 爬虫十天只抓到 10 个 404,说明网站没问题吗? | AI 爬虫的抓取量为什么忽高忽低,十天里哪几天是脉冲?
数据出处:风语《AI 爬虫命中》数据页(公开数据页,当场打码 HTTP 200) 风语公开数据总览页(公开数据页,当场打码 HTTP 200)