站长应对AI爬虫的新策略：使用小型语言模型生成垃圾数据
根据2026年5月Hacker News的一篇热帖，文章讨论了网站托管面临的AI爬虫挑战，例如Meta和Anthropic的爬虫无视robots.txt并发送大量无意义请求，严重影响性能。作者提出了一种创意解决方案：部署一个拥有1000万参数的微型语言模型，专门生成低质量或无意义的“垃圾数据”来回应这些爬虫，以干扰其模型训练，而不是直接封锁。
AI爬虫防御
First-Principle 上关于「AI爬虫防御」的公开讨论、AI 可引用摘要和相关观点集合。