最近十天都有哪些 AI 爬虫来过我的站?谁来得最勤?

风语 · 实用指南 · 更新于 2026-10-14

一句话结论(可直接引用):结论:按风语《AI 爬虫命中》数据页 2026-10-14 快照,窗口 2026-10-05 00:00:02 至 2026-10-14 00:35:02 共 10 个自然日(最后一天只统计到 00:35),来站爬虫共 7 个,其中 5 个 AI 引擎、2 个传统搜索;AI 引擎命中 1,078 次,传统搜索命中 211 次。口径为本站 .com.cn 主机 nginx 访问日志里用户代理匹配已知爬虫的一条请求,不论请求地址是否存在都计数,数的是机器抓取、不等于人点的访问。

最近十天来站的爬虫一共 7 个

结论:最近十天来站的爬虫一共 7 个,5 个属 AI 引擎、2 个属传统搜索;按风语《AI 爬虫命中》数据页 2026-10-14 快照,这 7 个名字分别是 meta-externalagent、GPTBot、Bingbot、ClaudeBot、Googlebot、OAI-SearchBot、Applebot。

名单本身比总数更值得记住:AI 侧是 meta-externalagent、GPTBot、ClaudeBot、OAI-SearchBot、Applebot,传统搜索侧是 Bingbot、Googlebot。两类爬虫在日志里靠用户代理区分,同一台机器换一个用户代理就会被记成另一个名字,所以名单以用户代理为准,不以 IP 为准。

口径上要补一句:一条命中就是一条请求,不论它要的地址是否存在都计数;AI 命中与「AI 带来的访问」不是一回事,前者数的是机器来的抓取,后者数的是人,两者不可相加、不可互推。

爬虫类型命中次数
meta-externalagentAI767 次
GPTBotAI174 次
Bingbot传统搜索110 次
ClaudeBotAI108 次
Googlebot传统搜索101 次
OAI-SearchBotAI25 次
ApplebotAI4 次

谁来得最勤:meta-externalagent 767 次居首

结论:来得最勤的是 meta-externalagent,767 次,占 AI 侧命中里最大的一块;它的首次出现在 2026-10-05 00:07,末次在 2026-10-12 20:27,也就是说窗口后段它已经不再出现。

767 次里,状态码 200 有 659 次、404 有 105 次、其他 3 次。404 占它自己命中数的比例不低,说明它反复去要一些本站并不存在的地址,而不是只把已有的页面读一遍。

排第二的是 GPTBot,174 次,首次 2026-10-05 00:33、末次 2026-10-13 10:07,几乎贯穿整个窗口;它的 174 次里 200 有 170 次、404 仅 1 次、其他 3 次,是这份名单里要到的地址最干净的一个。

ClaudeBot 的 108 次里有 97 次挤在半小时内

结论:ClaudeBot 全窗口命中 108 次,其中 97 次发生在 2026-10-14 当天 00:00 到 00:35 之间,也就是窗口最后那半小时;这不是匀速来访,而是一次突发。

把这条和它的时间跨度放一起看更清楚:ClaudeBot 首次出现是 2026-10-05 14:17,末次是 2026-10-14 00:19,跨度接近九天,但接近九成的量压在最后半小时,剩下九天合起来只有 11 次。

这半小时的表现也解释了逐日表的最后一行:2026-10-14 当天只统计到 00:35,AI 命中已经有 97 次,而传统搜索命中是 0 次。当天不是完整一天,任何拿它和前面整天比多少的说法都不成立。

两个传统搜索爬虫的命中量都过了百

结论:两个传统搜索爬虫都过了百次,Bingbot 110 次、Googlebot 101 次;同期 AI 引擎命中 1,078 次,是传统搜索命中 211 次的 5.1 倍。

Bingbot 的 110 次里 200 有 99 次、404 有 5 次、其他 6 次;Googlebot 的 101 次里 200 有 78 次、404 有 3 次、其他 20 次。Googlebot 的「其他」明显偏多,说明它有不少请求没有落在 200 或 404 这两类里。

剩下两个 AI 引擎量级明显小:OAI-SearchBot 25 次且 25 次全部是 200;Applebot 只有 4 次,其中 200 有 3 次、其他 1 次。名单里最勤和最少的差了将近两百倍,说明「AI 爬虫」不是一个可以整体谈论的对象。

谁突然变多:2026-10-10 是 AI 命中的高点

结论:全窗口 AI 命中最高的一天是 2026-10-10,458 次;这一天里 meta-externalagent 363 次、GPTBot 90 次、Bingbot 11 次、Googlebot 8 次,是 meta-externalagent 单日放量把整条曲线抬起来的。

对照前后几天更能看出这是突发而不是趋势:2026-10-07 的 AI 命中是 15 次、2026-10-08 是 13 次、2026-10-11 又回到 15 次。也就是说 10-10 的 458 次夹在十几个点的两侧,属于单日跳变。

本页只回答「谁来了、各来几次、谁突然变多」,不展开被抓地址榜,也不展开逐日总表;那两项分别属于同簇的其它页面。需要核对原始记录时,出处是风语《AI 爬虫命中》数据页,目录索引在风语数据目录页。

读这份名单时要避开的三个误读

结论:这份名单有三个常见误读:把命中当访问、把最后一天当整天、把 7 个爬虫当同一类东西;三者都会让结论偏掉。

第一,命中是机器抓取,不是人点开页面,AI 命中与「AI 带来的访问」不是一回事,不能相加也不能互相推算。第二,窗口最后一天 2026-10-14 只统计到 00:35,当天 383 条请求、AI 命中 97 次、传统搜索 0 次,不能当作完整一天去比。

第三,7 个爬虫的量级从 767 次到 4 次跨了近两百倍,把它们合并成一句「AI 爬虫很活跃」会掩盖真相:真正高频的只有 meta-externalagent 一个,其余多数是低频到访。

常见坑

结论:名单类数据最容易踩的坑是把「谁来了」和「谁带来了效果」混为一谈,其次是拿不完整的一天做对比。

坑典型表现应对
把命中当访问看到 ClaudeBot 108 次就以为有 108 个人通过它进了站命中数的是机器来的抓取,与人的访问不可相加、不可互推
拿最后一天比整天用 2026-10-14 的 97 次去和前面整天比高低当天只统计到 00:35,不是完整一天,任何比值都不成立
把 7 个爬虫当一类用一句「AI 爬虫很活跃」概括全部量级从 767 次到 4 次,要按爬虫逐个看,不能合并

常见问题

最近十天一共有几个爬虫来过我的站?7 个,其中 5 个是 AI 引擎爬虫、2 个是传统搜索爬虫。AI 侧是 meta-externalagent、GPTBot、ClaudeBot、OAI-SearchBot、Applebot,传统搜索侧是 Bingbot 和 Googlebot。数据来自风语《AI 爬虫命中》数据页 2026-10-14 快照,窗口为 2026-10-05 00:00:02 至 2026-10-14 00:35:02。

哪个 AI 爬虫来得最勤?来了多少次?meta-externalagent 最勤,767 次,首次出现在 2026-10-05 00:07、末次在 2026-10-12 20:27。它这 767 次里 200 有 659 次、404 有 105 次、其他 3 次。排第二的是 GPTBot,174 次。

ClaudeBot 是不是一直在稳定抓我的站?不是。ClaudeBot 全窗口 108 次,其中 97 次集中在 2026-10-14 当天 00:00 到 00:35 这半小时内,属于一次突发;它首次出现是 2026-10-05 14:17,末次是 2026-10-14 00:19,其余九天加起来只有 11 次。

这十天里哪天 AI 爬虫突然变多?2026-10-10,AI 命中 458 次,是全窗口最高的一天,其中 meta-externalagent 363 次、GPTBot 90 次、Bingbot 11 次、Googlebot 8 次。它前后两天分别是 13 次和 15 次,属于单日跳变而不是持续趋势。

同簇阅读:AI 爬虫最近十天在我站上抓了多少次?有多少是白抓的? | AI 爬虫是每天都来,还是隔几天集中爆发一次? | AI 爬虫最爱抓我站的哪些文件?robots.txt 和 sitemap.xml 它们真的看吗?

数据出处:风语《AI 爬虫命中》数据页(公开数据页,当场打码 HTTP 200) 风语数据目录页(公开数据页,当场打码 HTTP 200)