风语 · 实用指南 · 更新于 2026-10-24
结论：28 个新页面中 24 个有首抓记录、4 个在窗口内一次没被抓过，命中面是 24 个而不是全部。
统计对象是 /geo/ 下 2026-10-15 至 2026-10-23 发布的 28 个页面。判定只看窗口内有没有 AI 爬虫请求落到该地址，有就记一次首抓，没有就记 0 次。
4 个 0 次页面是 /geo/self-traffic-share.html、/geo/traffic-classes-meaning.html、/geo/two-sites-self-traffic.html、/geo/geo-pages-external-visits.html，四页同为 2026-10-15 06:24 一批发布。这里只陈述它们没被抓过，不推断原因。
| 分组 | 页面数 | 说明 |
|---|---|---|
| 被 AI 爬虫首抓 | 24 个 | 首抓全部是 GPTBot |
| 窗口内 0 次 | 4 个 | 2026-10-15 06:24 同一批发布 |
| 合计 | 28 个 | 2026-10-15 至 10-23 发布 |
结论：24 个首抓记录里，抓取方全部是 GPTBot，且全部发生在页面发布当天，没有一例跨到第二天。
这条结论只描述这 24 个样本的首抓，不代表所有 AI 爬虫的分工。窗口内 GPTBot 共命中 65 次、读到 34 个页面类地址，其中 sitemap 页面 32 个，新页首抓是它在这批样本上的表现。
发布当天完成首抓，意味着从发布到第一次被读之间没有隔夜等待；但当天不等于立刻，具体间隔要看下一节的小时分布。
| 首抓特征 | 实测值 |
|---|---|
| 首抓爬虫 | 全部 GPTBot |
| 首抓发生日 | 全部为发布当天 |
| 跨天首抓 | 0 例 |
结论：24 个首抓的间隔落在 0.74 至 6.87 小时之间，中位数 5.70 小时，24 个全部在 7 小时内完成。
把间隔分段看，4 个在 1 小时内，其余 20 个在 1 小时以上、7 小时以内。中位数 5.70 小时比最短的 0.74 小时晚了约五个小时，说明多数页面不是发布后马上被读。
这两个数字只能说明这批样本的分布，不能当成对任意页面的承诺；下一次发布的首抓间隔可能落在区间内，也可能不在。
| 间隔区间 | 页面数 |
|---|---|
| 1 小时内 | 4 个 |
| 1 小时以上、7 小时以内 | 20 个 |
| 7 小时以上 | 0 个 |
| 合计 | 24 个 |
结论：24 个首抓的时间点全部落在每天 10:18 至 10:33 之间，说明抓取不是随时发生，而是每天有一个固定窗口。
这个窗口解释了为什么间隔会随发布时间变化：发布越靠近窗口，等待越短；发布离窗口越远，等待越长。0.74 小时的短间隔与 6.87 小时的长间隔，都可以放在一天一轮的框架里理解。
窗口只有 15 分钟宽，24 个样本全部落在里面，这比间隔数字本身更能说明节奏形态。
| 观察项 | 实测值 |
|---|---|
| 首抓时间带 | 每天 10:18 至 10:33 |
| 时间带宽度 | 15 分钟 |
| 落入该带的样本 | 24 个 |
结论：把首抓全部在发布当天、间隔 0.74 至 6.87 小时、时间点集中在 10:18 至 10:33 三条放在一起看，得到的是每天一轮的抓取节奏，既不是发布即抓，也不是实时。
如果是发布即抓，间隔应集中在几分钟量级，不会出现中位数 5.70 小时；如果是实时，首抓时间点应均匀铺开，不会 24 个全挤在 15 分钟里。两条都不成立。
对内容方的实际含义是：新页面发布后按天等待，而不是按秒等待。判断有没有被抓，看窗口内有没有请求落到该地址即可。
| 假设 | 与实测是否相符 |
|---|---|
| 发布即抓 | 不符，中位数 5.70 小时 |
| 实时抓取 | 不符，首抓集中在 10:18 至 10:33 |
| 一天一轮 | 相符，全部发布当天完成 |
结论：4 个 0 次页面在窗口内没有被任何 AI 爬虫抓过，但现有检查不支持把它们读成惩罚或降权。
对 4 页做的四项检查结果是：线上 HTTP 状态均 200；4 页均在 sitemap；4 页均在 /geo/ 索引页有入站链接；4 页均无 noindex。窗口内所有爬虫（含 Googlebot、Bingbot）对这 4 页的命中为 0 次。
四项检查都正常，只能说明没抓到这一事实本身，不能推出原因。
| 检查项 | 4 页结果 |
|---|---|
| 线上 HTTP 状态 | 均 200 |
| 是否在 sitemap | 4 页均在 |
| 站内入站链接 | 均在 /geo/ 索引页有链接 |
| 是否 noindex | 均无 noindex |
| 窗口内全部爬虫命中 | 0 次 |
结论：把首抓间隔当成固定值、把 0 次当成惩罚、把机器抓取当成人访问，是这类问题最常见的三个误读。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 把间隔当承诺 | 认为新页面一定在 7 小时内被抓 | 只把 0.74 至 6.87 小时读成这批 24 个样本的分布，不外推 |
| 把 0 次当降权 | 看到 4 页没被抓就判断被惩罚 | 先做状态码、sitemap、入站链接、noindex 四项检查，四项正常就不归因 |
| 把抓取当访问 | 用 AI 命中次数推算流量或收录 | 抓取计数不等于人点的访问，也不等于被收录或被引用 |
新页面发布后一般多久会被 AI 爬虫抓第一次？按风语《AI 爬虫命中》数据页口径，/geo/ 下 2026-10-15 至 10-23 发布的 28 个页面里，24 个被首抓，间隔 0.74 至 6.87 小时，中位数 5.70 小时，全部在发布当天完成。这是这批样本的实测分布，不是对所有页面的固定时延。
首抓都是同一个爬虫吗？24 个首抓全部是 GPTBot，没有其他爬虫出现在首抓记录里。窗口内 GPTBot 共命中 65 次、读到 34 个页面类地址，其中 sitemap 页面 32 个。
为什么有的页面发布后很快被抓，有的要等几个小时？首抓时间点集中在每天 10:18 至 10:33，抓取按天有一个固定窗口。发布越靠近这个窗口等待越短，离得越远等待越长，所以间隔从 0.74 小时到 6.87 小时不等。
一次都没被抓的页面是不是被惩罚了？现有检查不支持这个判断。4 个 0 次页面线上状态均为 200、均在 sitemap、均在 /geo/ 索引页有入站链接、均无 noindex，窗口内所有爬虫对它们的命中为 0 次。四项正常只能说明没抓到这一事实，不能推出原因。
同簇阅读：sitemap 里 534 条链接，AI 爬虫九天内读了几条？ ｜ AI 爬虫抓一个站，为什么抓了 331 个文件却只读了 62 个页面？ ｜ sitemap 里的页面 AI 一次都没抓过，问题到底出在哪？
数据出处：风语《AI 爬虫命中》数据页（公开数据页，当场打码 HTTP 200） 风语《公开数据总览》数据页（公开数据页，当场打码 HTTP 200）