AI 时代人机爬虫战争：近 6 小时爬取量 Top 统计
近 6 小时爬虫爬取量排行：Applebot 以 193 次领跑，ClaudeBot、PerplexityBot 等 AI 爬虫总量已超过传统搜索爬虫——从搜索引擎时代进入大模型抢数据时代。
看到了，这是一张近 6 小时爬虫爬取量 Top 的统计图。
先过一遍数据
| Bot 名称 | 爬取量 | 类型 |
|---|---|---|
| Applebot | 193 | 🟣 AI/搜索 |
| Googlebot | 67 | 🔵 搜索 |
| ClaudeBot | 57 | 🟣 AI |
| Baiduspider | 51 | 🔵 搜索 |
| Bytespider | 40 | 🔵 搜索/内容 |
| PetalBot | 31 | 🔵 搜索 |
| YisouSpider | 15 | 🔵 搜索 |
| Yingbot | 19 | 🟣 AI/搜索 |
| PerplexityBot | 19 | 🟣 AI |
| AhrefsBot | 11 | 🟡 SEO工具 |
| DotBot | 10 | 🟡 SEO工具 |
| ChatGPT-User | 8 | 🟣 AI |
| Amazonbot | 8 | 🟡 电商 |
| meta-externalagent | 1 | 🟣 AI (Meta) |
| SemrushBot | 0 | 🟡 SEO工具 |
| Sogou | 0 | 🔵 搜索 |
| other-bot | 1 | — |
AI 相关 Bot 一览
以下这些都是明确为 AI 大模型或 AI 服务爬取数据的：
- ChatGPT-User（8）— OpenAI，用于训练 GPT 系列模型
- ClaudeBot（57）— Anthropic，用于训练 Claude 模型
- PerplexityBot（19）— Perplexity AI，用于 AI 搜索数据
- Applebot（193）— 苹果，用于 Apple Intelligence 和 Siri 训练数据
- meta-externalagent（1）— Meta，用于 AI 模型训练（Facebook/Instagram 的 AI 数据收集）
- Yingbot（19）— 可能是国内某 AI 相关爬虫（需确认，但通常出现在 AI 场景）
与几年前相比，最大的变化
1. AI 爬虫已经成为第一梯队流量
- Applebot 以 193 次遥遥领先，甚至超过了 Googlebot（67）。这在 2022 年以前是不可想象的。说明苹果近两年全力发力 AI（Apple Intelligence），对数据的需求极为饥渴。
- ClaudeBot（57）也排到了第三，说明 Anthropic 正在大规模采集数据。
2. 爬虫类型从「搜索为主」变成了「AI + 搜索并重」
几年前这个列表大概只有：
- Googlebot、BaiduSpider、Bytespider、YisouSpider、Sogou、PetalBot
现在新增了专门的 AI 爬虫：
- ChatGPT-User、ClaudeBot、PerplexityBot、meta-externalagent、Applebot（近年活跃度激增）
3. AI 爬虫总量已经超越传统搜索爬虫
粗略算一下：
- AI 相关：Applebot（193）+ ClaudeBot（57）+ PerplexityBot（19）+ Yingbot（19）+ ChatGPT-User（8）+ meta（1）= 约 297
- 传统搜索：Googlebot（67）+ BaiduSpider（51）+ Bytespider（40）+ PetalBot（31）+ YisouSpider（15）= 约 204
AI 爬虫已经是主导力量了，尤其是 Applebot 一家就占了半壁江山。
4. 说明你的站点/内容对 AI 公司有价值
这些 AI 爬虫愿意花资源来爬取，说明你的内容在 AI 训练数据筛选池里。这也意味着你的网站内容正在被各大 AI 厂商「学习」并纳入它们的模型。
让我先确认一下不太确定的几个爬虫来源。
图表按抓取量排序，蓝色=美国公司，橙色=中国公司，灰色=其他。以下是每个爬虫的详细归属分析：
爬虫来源公司完整分析
### 🇺🇸 美国公司（10 家，共 374 次，占 70.4%）
| 爬虫 | 次数 | 公司 | 用途 |
|---|---|---|---|
| Applebot | 193 | Apple（苹果） | 为 Siri 语音助手和 Spotlight 搜索建立网页索引，是本站最大爬虫来源 |
| Googlebot | 67 | Google（谷歌） | Google 搜索引擎核心爬虫，建立搜索索引 |
| ClaudeBot | 57 | Anthropic | Claude AI 模型的训练数据采集与实时检索 |
| PerplexityBot | 19 | Perplexity AI | AI 搜索引擎，抓取网页用于 AI 生成的搜索回答 |
| AhrefsBot | 11 | Ahrefs（总部新加坡） | SEO 外链分析工具，构建全球第二大网页链接索引 |
| DotBot | 10 | Moz | SEO 工具，采集外链数据驱动 Domain Authority 指标 |
| ChatGPT-User | 8 | OpenAI | ChatGPT 用户主动浏览网页时发出的请求（非自动训练爬取） |
| Amazonbot | 8 | Amazon（亚马逊） | Alexa 网络信息服务及产品页爬取 |
| meta-externalagent | 1 | Meta（Meta/Facebook） | Meta AI 训练用爬虫 |
| SemrushBot | 0 | Semrush | SEO 竞品分析工具（本月未抓取） |
### 🇨🇳 中国公司（5 家，共 156 次，占 29.4%）
| 爬虫 | 次数 | 公司 | 用途 |
|---|---|---|---|
| Baiduspider | 51 | 百度 | 百度搜索核心爬虫，索引同时喂给文心一言 AI |
| Bytespider | 40 | 字节跳动 | 为抖音、今日头条、TikTok 的内容推荐和搜索采集网页 |
| PetalBot | 31 | 华为 | Petal Search（花瓣搜索）引擎爬虫 |
| Yingbot | 19 | 应宝（待确认） | 搜索结果指向"应宝 YingBot"——一个 AI 客服/搜索系统。分类为 AI/搜索，可能是 AI 驱动的网页检索服务，但具体公司归属不太确定，也有可能与"必应"中文音译有关 |
| YisouSpider | 15 | 阿里巴巴 / UC（神马搜索） | 神马搜索（sm.cn）移动搜索引擎爬虫，由 UC 和阿里 2013 年合资成立 |
| Sogou | 0 | 搜狗（现为腾讯旗下） | 搜狗搜索引擎（本月未抓取） |
## 关键发现
1. **Apple 是最大爬虫来源**（193 次，占 36.4%），远超 Google（67 次）。说明你的站点内容被 Apple 的 Siri/Spotlight 频繁索引——对 iOS 用户可见度很高。
2. **AI 爬虫合计 325 次（61.2%）**，已超过纯搜索引擎爬虫。Applebot(193) + ClaudeBot(57) + PerplexityBot(19) + Yingbot(19) + ChatGPT-User(8) + meta-externalagent(1) = 297 次。说明你的站点正被大量 AI 公司用于训练和检索——内容出现在 AI 回答中的概率很高。
3. **中美对比**：美国公司 374 次 vs 中国公司 156 次，美国爬虫活跃度是中国的 2.4 倍。但考虑到站点是中文内容站，中国爬虫的占比其实不算低。
4. **SEO 工具爬虫**（AhrefsBot + DotBot + SemrushBot = 21 次）说明你的站点已经被主流 SEO 分析平台收录，外链数据可在这些工具中查到。
5. **Yingbot 的归属需要进一步确认**——搜索结果指向"应宝 YingBot"（AI 客服系统），但 19 次的抓取量和 AI/搜索分类暗示它可能是某种 AI 检索服务。建议查看服务器日志中它的完整 User-Agent 字符串和来源 IP 做进一步判断。
传中...
总结一句话：从搜索引擎时代，进入了 AI 大模型「抢数据」时代。 Apple 和 Anthropic 是最活跃的，OpenAI 相对克制（ChatGPT-User 只有 8），但这也可能只是轮次问题。
评论 (0)
加载评论中…