**研究揭示:网站屏蔽AI训练爬虫,却忽视实时问答机器人** _Sites that block AI training crawlers mostly ig
原帖
**研究揭示:网站屏蔽AI训练爬虫,却忽视实时问答机器人**
_Sites that block AI training crawlers mostly ignore the answer time bots_
> 对前1万大网站的robots.txt分析显示,38%的GPTBot屏蔽规则集中在2023年第四季度,主要受《纽约时报》诉讼影响。尽管各大AI公司随后推出了用于实时回答问题的搜索机器人,但绝大多数网站并未制定相应的屏蔽规则,导致针对训练数据的防护严密,而对实时交互流量的管控存在显著盲区。
**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:行业
- **发布时间**:2026-07-07 23:52(北京时间)
- **原文**:[打开原文](https://sitedex.dev/insights/robots-txt-2023-war-memorial)