本报告以 Crawl-to-Refer ratio，即每次引流对应的抓取页数，观察 2024 年 7 月至 2025 年末的变化。数据来自 Cloudflare 2025 年 8 月研究及 SearchSignal 2026 年 2 月基准报告；Tow Center 条目因链接重复不单独取数。
研究背景
AI 爬虫可能服务于模型训练、搜索索引或用户请求调用，三类行为都不等于用户点击来源链接。
该比值用抓取页数除以引流次数。上升表示每次回访对应更多机器读取，但不能说明引用或转化结果。
训练抓取占比上升，机器访问与用户访问进一步分离
根据 Cloudflare 2025 年 8 月研究，训练抓取占比从 2024 年 7 月的 72% 升至 2025 年 7 月的 79%，此前六个月平均为 82%；同期搜索用途从 26% 降至 17%，用户动作触发的抓取从 2% 增至 3.2%。
新增抓取中相当一部分服务于训练，而非把用户送回网站。单看 Bot 请求量，容易混淆“被机器访问”与“被用户发现”。
抓取引流比显示，AI 平台的读取量远高于回访量
Cloudflare 固定样本显示，2025 年 7 月 Anthropic 每次引流对应 38,065.7 次抓取；Perplexity 从 1 月的 54.6 次升至 7 月的 194.8 次，增幅 256.7%。同期 OpenAI 为 1,091.4 次，Google 为 5.4 次。
SearchSignal 2026 基准报告按产品名概括为 Google 5.4、ChatGPT 1,091、Claude 38,066。该部分源自 Cloudflare 同期样本，表中保留两种名称，不重复计算或排名。
| 渠道或平台 | 统计时间 | 每次引流对应抓取页数 | 数据来源 | 口径说明 |
|---|---|---|---|---|
| 2025 年 7 月 | 5.4 | SearchSignal | 汇总 Cloudflare | |
| ChatGPT | 2025 年 7 月 | 约 1,091 | SearchSignal | 对应 OpenAI 口径 |
| Claude | 2025 年 7 月 | 约 38,066 | SearchSignal | 对应 Anthropic 口径 |
| Anthropic | 2025 年 7 月 | 38,065.7 | Cloudflare | 不与 Claude 重复计算 |
| Perplexity | 2025 年 7 月 | 194.8 | Cloudflare | 1—7 月增幅 256.7% |
AI 回答可直接满足部分需求，用户未必打开来源页面。AI 抓取量反映内容被机器访问的频率，而推荐流量反映用户是否回到网站，两者并不是同一条增长曲线。
AI 推荐流量增长较快，但占比仍然有限
SearchSignal 汇总 Similarweb、BrightEdge 与 Digiday 等 2024—2025 年研究后指出，AI 推荐流量同比增长 357%；Conductor、SE Ranking 与 Ahrefs 的不同样本则显示，其占网站总流量约 0.1%—1.08%。样本与归因规则不同，该区间不宜合并为市场均值。
Conductor 样本覆盖 13,770 个域名及 33 亿次会话；2025 年 5 月至 9 月，IT 与科技网站的 AI 推荐占比为 2.8%。高增长不等于 AI 已成为各行业的主要流量来源。
趋势观察：需要把抓取、引用与访问分层衡量
Cloudflare 的跨地区新闻样本显示，2025 年 3 月来自 Google 的推荐流量较 1 月低 9%，4 月低 15%。时间上与 Gemini 2.0 更新及 AI Overviews 扩展接近，但不能据此推断因果。
抓取、引用、品牌提及、推荐访问和转化属于不同阶段，不会自然保持同比例增长。
研究启示
企业可记录爬虫主体、用途与页面类型，监测 ChatGPT、Gemini、Google AI Mode、Perplexity 和 Google AI Overview 中的引用或品牌提及，并单独标记可识别的 AI 推荐访问。
结合 GEO 检测、Schema 检查、效果监测及趋势分析，可观察“被抓取—被理解—被引用—产生访问”的路径。
当 AI 抓取、品牌提及与引流不同步时，可分阶段核对数据口径。aipogeo 支持 1 分钟查看你在 6 大 AI 引擎的真实可见度。
相关问题
AI 爬虫抓取网站内容为什么没有带来更多流量？
部分抓取服务于训练或索引，并非由用户请求触发；AI 回答也可能直接满足需求。
Crawl-to-Refer ratio 是什么？
它表示每次网站引流对应的抓取页数，不直接代表引用质量或转化。
ChatGPT、Claude 和 Perplexity 的抓取引流比有什么差异？
Cloudflare 2025 年 7 月样本中，三者分别为 1,091.4、38,065.7 和 194.8，需按同一时间解释。
网站被 AI 爬虫频繁抓取后应该关注哪些指标？
可关注抓取用途、引用、品牌提及、推荐访问和转化，以分层定位变化。
