**945 大站数据揭秘：近 26% 网站屏蔽 AI 训练爬虫却放行搜索爬虫**

_Show HN: Which big sites block AI training crawlers but let AI search in_

> 一项针对 945 个知名网站的研究显示，约 25.9% 的网站在 robots.txt 中至少屏蔽了一种 AI 爬虫。其中，9.2% 的网站采取了“只堵训练、放行搜索”的策略，即阻止 GPTBot 等训练爬虫抓取数据，但允许 PerplexityBot 等 AI 搜索爬虫访问。研究还发现，新闻媒体和科技巨头是屏蔽 AI 爬虫的主要群体，而金融类网站则完全开放。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：行业
- **发布时间**：2026-10-27 21:18（北京时间）
- **原文**：[打开原文](https://getkavel.com/ai-crawlers)