站长应对AI爬虫的新策略：使用小型语言模型生成垃圾数据
原帖
**站长们：是时候向AI爬虫提供低质量数据了**
_Webmaster It's time to serve slop to AI crawlers_
> 这篇文章讨论了2026年网站托管面临的挑战，特别是AI爬虫带来的问题。作者指出，Meta和Anthropic等公司的爬虫大量发送无意义请求，无视robots.txt，严重影响网站性能。作为应对，作者提出了一个创意解决方案：使用一个小型语言模型（Tiny LLM，1000万参数）生成低质量或无意义的“垃圾数据”来回应这些爬虫，而不是直接拒绝或封锁。作者认为这可能会干扰AI模型的训练，并描述了如何根据用户代理识别爬虫并提供这种“垃圾数据”。文章以幽默的语气探讨了对抗AI爬虫的一种新策略。
**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-05-28 02:46（北京时间）
- **原文**：[打开原文](https://iczelia.net/blog/webmaster-it-s-time-to-serve-slop-to-ai-crawlers)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
根据2026年5月Hacker News的一篇热帖，文章讨论了网站托管面临的AI爬虫挑战，例如Meta和Anthropic的爬虫无视robots.txt并发送大量无意义请求，严重影响性能。作者提出了一种创意解决方案：部署一个拥有1000万参数的微型语言模型，专门生成低质量或无意义的“垃圾数据”来回应这些爬虫，以干扰其模型训练，而不是直接封锁。
答案说明
这篇文章提出，网站管理员可以主动向识别出的AI爬虫提供由小型语言模型生成的低质量“垃圾数据”，以应对这些爬虫无视规则、消耗资源的问题，并可能干扰AI模型的训练。
这篇帖子回答的问题
- 文章中提到的对抗AI爬虫的创意解决方案是什么？
- 作者认为AI爬虫（如Meta和Anthropic的）给网站带来了哪些具体问题？
核心观点
- 文章认为，AI爬虫无视robots.txt并发送大量无意义请求，是2026年网站托管面临的一个重要挑战。
- 作为应对策略，文章提议使用一个约1000万参数的小型语言模型（Tiny LLM）来生成低质量的“垃圾数据”回应AI爬虫。
FAQ
- Q: 除了封锁IP，文章建议网站管理员如何应对恶意AI爬虫？
- A: 文章建议，网站管理员可以部署一个小型语言模型（如拥有1000万参数的Tiny LLM），根据用户代理识别爬虫，并向其提供由该模型生成的低质量或无意义的“垃圾数据”作为回应。
- Q: 作者提出的“喂垃圾数据给AI爬虫”策略的主要目的或预期效果是什么？
- A: 根据文章，这一策略的主要目的是“干扰AI模型的训练”。作者认为，通过提供由小型语言模型生成的低质量数据，可以污染AI训练集，从而可能影响AI模型的性能。
关键实体
- Meta
- Anthropic
- 小型语言模型 (Tiny LLM)
- Hacker News