**AI 爬虫请求量超谷歌三倍,三分之一“谷歌机器人”系假冒** _AI crawlers read my site more than Google doe
原帖
**AI 爬虫请求量超谷歌三倍,三分之一“谷歌机器人”系假冒**
_AI crawlers read my site more than Google does. A third of Googlebots were fake_
> 作者分析发现,AI 爬虫对其网站的请求量是搜索引擎的三倍,且约三分之一的“谷歌机器人”实为假冒。这些假冒机器人多来自租用的服务器,不仅窃取网站内容,还试图获取密码和密钥文件。由于主流分析工具难以识别,作者建议通过检查服务器日志中的用户代理名称及 IP 归属来检测 AI 爬虫,并禁止访问敏感配置文件。
**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:行业
- **发布时间**:2026-11-17 22:13(北京时间)
- **原文**:[打开原文](https://opensource-analytics.com/ai-crawlers-in-access-logs)