**20% 的'200 成功’AI 抓取响应实为无效：网站封锁与数据污染加剧**

_Twenty Percent of all 'ok' web responses AI gets are not okay_

> 一项最新研究揭示，AI 爬虫收到的约 20.9% 标记为'200 成功’的网页响应实际上并不包含有效内容，而是空壳、验证码或访问限制。随着网站为防御 AI 抓取而采取登录墙、IP 封锁等反爬虫措施，AI 获取数据的难度显著增加，且现有评估指标无法区分'200 响应’与'200 但无内容’，导致 AI 数据集出现严重偏差。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：行业
- **发布时间**：2026-11-04 22:32（北京时间）
- **原文**：[打开原文](https://www.unite.ai/20-percent-of-all-ok-web-responses-ai-gets-are-not-okay)