**AI 爬虫利用 robots.txt 规则漏洞抓取 29.8% 的受限内容**

_AI crawlers in robots.txt: a study of the topk sites (2026)_

> 一项针对 2026 年顶级网站的研究发现，29.8% 的 robots.txt 文件存在配置漏洞：虽然对通用爬虫（User-agent: \*）禁止访问特定路径，但为特定 AI 爬虫（如 GPTBot）设置了允许规则，导致这些 AI 爬虫绕过了限制。研究指出，被“放行”的路径主要集中在站内搜索、登录账户页面和 API 接口。文章解释了 RFC 9309 标准中爬虫分组读取机制导致的逻辑冲突，并建议网站管理员删除无意义的允许规则或将通用禁止规则复制到特定爬虫组中以修复此问题。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：行业
- **发布时间**：2026-10-28 20:57（北京时间）
- **原文**：[打开原文](https://hitmind.ai/research/ai-crawler-access-2026)