风语 · 实用指南 · 更新于 2026-10-17
结论：1,964 次 AI 命中里，ClaudeBot 1,181 次占 60.1%，meta-externalagent 557 次占 28.4%，GPTBot 192 次占 9.8%，OAI-SearchBot 27 次占 1.4%，Applebot 4 次占 0.2%，Bytespider 3 次占 0.2%，六项相加正好回到 1,964 次。
份额是按命中次数算的，不是按站点数算，也不是按访问人数算。一条命中就是访问日志里用户代理匹配已知 AI 引擎爬虫的一条请求，不论该地址是否存在都计数，所以同一个爬虫反复抓同一个地址会被反复计入。
把六款爬虫按次数排开，前三款合计 1,930 次，占 1,964 次的绝大部分；后三款合计 34 次，量级明显不同。这说明本窗口内的 AI 抓取高度集中在少数几款爬虫身上。
| AI 爬虫 | 命中次数 | 占 1,964 次的比例 |
|---|---|---|
| ClaudeBot | 1,181 | 60.1% |
| meta-externalagent | 557 | 28.4% |
| GPTBot | 192 | 9.8% |
| OAI-SearchBot | 27 | 1.4% |
| Applebot | 4 | 0.2% |
| Bytespider | 3 | 0.2% |
结论：同一窗口内传统搜索爬虫命中 165 次，其中 Bingbot 97 次、Googlebot 68 次，AI 引擎爬虫的 1,964 次是这 165 次的 11.9 倍。
这个倍数比较的是命中次数，不是比较抓取深度，也不是比较收录效果。传统搜索爬虫的 165 次同样按用户代理匹配计数，与 AI 爬虫使用同一套计数规则。
从占全部请求的比例看，AI 命中占 1.49%，传统搜索占 0.13%，两者都建立在 131,601 行日志这个分母上。把 AI 与搜索放在同一张表里看，量级差主要来自 AI 一侧。
| 类别 | 命中次数 | 占全部请求比例 |
|---|---|---|
| AI 引擎爬虫 | 1,964 | 1.49% |
| 传统搜索爬虫 | 165 | 0.13% |
| 其中 Bingbot | 97 | — |
| 其中 Googlebot | 68 | — |
结论：60.1% 是 1,181 除以 1,964 得到的份额，分母是六款 AI 爬虫的命中总数，不是全站请求总数，也不是站点数或访问人数。
如果换分母，同一个 1,181 次会得到完全不同的比例。按全站 131,601 行日志算，ClaudeBot 占全部请求的比例远低于六成；所以看到任何百分比，先确认分母是什么。
本页所有份额都统一用命中次数作分母，六款爬虫的份额相加为 100%，这样各款之间可以直接比较，也便于和传统搜索的 165 次放在同一尺度上看。
结论：ClaudeBot 的 1,181 次里，10-14 一天就有 1,170 次，占其十日合计的 99.1%，其余几天分别只有 3 次、7 次、1 次，所以六成份额是被单日拉高的。
逐日看，10-14 当天 AI 命中 1,258 次，其中 ClaudeBot 1,170 次、meta-externalagent 58 次、GPTBot 27 次、OAI-SearchBot 3 次；同一天传统搜索只有 3 次。
另一处高点在 10-10，当天 AI 命中 458 次，主要由 meta-externalagent 363 次和 GPTBot 90 次构成。两天的构成不同，说明份额排名会随日期变化，不能把十日均值当成每一天的常态。
| 日期 | AI 命中 | 当天主要构成 |
|---|---|---|
| 10-10 | 458 | meta-externalagent 363、GPTBot 90 |
| 10-14 | 1,258 | ClaudeBot 1,170、meta-externalagent 58、GPTBot 27、OAI-SearchBot 3 |
结论：被访问最多的地址是 /robots.txt 74 次，其中 OAI-SearchBot 27 次、Googlebot 25 次、Bingbot 11 次、ClaudeBot 7 次、Applebot 3 次、Bytespider 1 次；/sitemap.xml 23 次，其中 GPTBot 18 次、ClaudeBot 5 次。
首页 23 次，/data/industry_insights.json 15 次，其中 Googlebot 14 次、Bingbot 1 次。这些地址的命中同样按用户代理匹配计数，不论地址是否存在。
从地址分布看，六款 AI 爬虫并非只盯页面，也大量读取 robots.txt 与 sitemap.xml；传统搜索爬虫在这两个地址上同样有命中，说明抓取入口是共用的。
结论：这份份额表能说明本窗口内各款爬虫自称身份下的命中次数分布，不能说明抓取是否被允许、是否影响收录，也不能证明用户代理背后就是该爬虫本体。
口径上，一条命中等于访问日志里用户代理匹配已知 AI 引擎爬虫的一条请求，不论该地址是否存在都计数；数的是机器抓取，不等于人点的访问；用户代理可以伪造，日志只能证明自称是谁，不能证明实际是谁。
因此「ClaudeBot 占六成」是一句关于日志记录的话，不是关于真实爬虫身份的定论。要判断抓取性质，需要结合状态码、地址分布和逐日走势另做分析，本页只回答谁被抓了多少次。
结论：读这份份额表最常见的三个坑，是把分母换掉、把单日当常态、把自称身份当真实身份，三者都会让结论偏离原始数据。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 换分母 | 用 131,601 行日志当分母，说 ClaudeBot 占比很小 | 份额统一用 1,964 次 AI 命中作分母，六项相加为 100% |
| 把单日当常态 | 看到 60.1% 就以为每天都是 ClaudeBot 主导 | ClaudeBot 1,170 次集中在 10-14 一天，占其十日合计 99.1% |
| 把自称当真实 | 直接把日志里的用户代理当成爬虫本体 | 日志只能证明自称身份，用户代理可伪造 |
1,964 次里 ClaudeBot 到底占多少？ClaudeBot 命中 1,181 次，占 1,964 次的 60.1%，超过六成；这个比例的分母是六款 AI 爬虫的命中总数。
为什么 AI 爬虫是传统搜索的 11.9 倍？同一窗口内 AI 引擎爬虫命中 1,964 次，传统搜索爬虫命中 165 次，其中 Bingbot 97 次、Googlebot 68 次，1,964 除以 165 得到 11.9 倍，比较的是命中次数。
六款 AI 爬虫里最少的是哪几款？OAI-SearchBot 27 次占 1.4%，Applebot 4 次占 0.2%，Bytespider 3 次占 0.2%，三款合计 34 次，量级明显小于前三款。
这个份额是按站点数还是按访问人数算的？都不是。份额按命中次数算，一条命中就是访问日志里用户代理匹配已知 AI 引擎爬虫的一条请求，不论地址是否存在都计数，数的是机器抓取，不等于人点的访问。
同簇阅读：AI 爬虫一天抓 1,170 次，是攻击还是正常收录？ ｜ AI 爬虫十天只抓到 10 个 404，说明网站没问题吗？ ｜ AI 爬虫的抓取量为什么忽高忽低，十天里哪几天是脉冲？
数据出处：风语《AI 爬虫命中》数据页（公开数据页，当场打码 HTTP 200） 风语公开数据总览页（公开数据页，当场打码 HTTP 200）