风语 · 实用指南 · 更新于 2026-10-04
结论先说：日志里的 UA 名字不是一串乱码，它直接告诉你这条请求来自哪家引擎；名字没对上，次数就是白数的。同样是「AI 来了」，GPTBot 属于一家、meta-externalagent 属于另一家，两者在回答里的出场方式并不一样。
常见的说法：反正都是 AI，加起来看总量就行。
我们怎么数：先按名字分组，再看每组各发生几次、第一次什么时候出现，最后才合计。
结论：一共认出五只 AI 爬虫，其中一只就占了一半以上。下表是它们在同一窗口里的全部命中。
| 爬虫名字 | 命中 | 占比 | 首次出现 |
|---|---|---|---|
| GPTBot | 275 | 52.1% | 2026-09-25 05:53 |
| meta-externalagent | 207 | 39.2% | 2026-09-28 08:59 |
| OAI-SearchBot | 30 | 5.7% | 2026-09-25 05:53 |
| ChatGPT-User | 15 | 2.8% | 2026-09-30 11:35 |
| Bytespider | 1 | 0.2% | 2026-09-30 06:19 |
同一个窗口里还被认出的传统搜索爬虫是 Googlebot 433 次、Bingbot 113 次，它们不计入上面这 528 次。两类混着看，会得出完全不同的结论。
结论：它来得早、也来得勤。GPTBot 在窗口第一天就出现，之后连着的每一天都有记录，合计 275 次，是唯一贯穿整个窗口的 AI 爬虫。来得早意味着它对你的站更有「路径记忆」，后续深页被翻到的概率也更高。
结论：抓取常常是批量扫，而不是天天均匀来。这只爬虫的总命中是 207 次，其中 2026-10-03 一天就占了 116 次，超过一半。看到这种尖峰，正确的读法是「它在那个时间点做了一次集中取数」，而不是「它对我的站兴趣突然翻倍」。
结论：名字是自报的，谁都能写，所以名字只是第一层。要确认身份，还得把请求来源 IP 跟厂商公布的地址段对一遍。名字对上、IP 也对上，这条记录才算坐实。只凭名字就断定「某家 AI 来过」，是被伪造 UA 骗的常见入口。
结论：读错名字表的人，几乎都栽在「只看一个」和「把名字当身份」两件事上。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 只盯一只 | 只统计 GPTBot，其余忽略 | 先把五只 AI 都列出来再合计 |
| 名字当身份 | 看到名字就认定厂商来过 | 回查来源 IP 地址段 |
| 按天看节奏 | 拿尖峰日当长期趋势 | 批量扫是常态，看窗口总量更稳 |
| 并进搜索档 | 把 Googlebot 也算成 AI | AI 与搜索分开计数 |
| 忽略首次时间 | 不记第一次出现的时刻 | 首次时间决定「多久被发现」 |
谁抓得最多？GPTBot 275 次，占 AI 命中的 52.1%。
一共几只 AI 爬虫？窗口内认出五只，合计 528 次。
一天涨到 116 次算异常吗？不算，批量扫很常见。
名字能直接当身份吗？不能，UA 可伪造，要配合来源地址段核。
同簇阅读：怎么知道 AI 引擎有没有来抓过我的网站？ ｜ AI 爬虫抓出了 404，说明什么？要不要专门处理？ ｜ 新页面多久会被 AI 爬虫发现？抓过一次还会再来吗？
数据出处：风语「AI 爬虫命中」数据页（含各爬虫名字的定义与同类站点公开统计） ｜ 相关簇：一份给 838 个 AI 工具打的分，到底该怎么读？