**对抗AI爬虫机器人的网络肆虐**

_Fighting the AI Scraperbot Scourge_

> 本文探讨了LWN网站在运营中面临的AI爬虫机器人泛滥问题。这些机器人为了训练生成式AI模型，大规模抓取网络内容，无视robots.txt规则，伪装成普通用户，导致网站流量激增，影响正常读者访问。文章描述了LWN尝试的各种应对措施（如IP限速、用户代理识别等）及其效果有限，并指出此问题在社区中普遍存在。作者批评了AI公司认为其有权获取任何数据的做法，呼吁读者关注网络资源的可持续性。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：行业
- **发布时间**：2026-05-27 16:10（北京时间）
- **原文**：[打开原文](https://lwn.net/Articles/1008897)