**AI 爬虫狂刷登录页：GPTBot 单日尝试 14 万次**

_GPTBot hit my SSO login page 594,101 times_

> 文章作者通过五个月的服务器日志分析发现，AI 系统对其网站的访问频率是传统搜索引擎的 1.5 倍，更是谷歌的 58 倍。其中，OpenAI 的 GPTBot 爬虫在一天内尝试访问其 SSO 登录页 141,712 次，五个月累计达 594,101 次，但均被重定向至登录页而无法进入。尽管存在大量无效请求，作者仍通过 robots.txt 和 llms.txt 主动欢迎 AI 爬虫抓取其公开内容，以支持 AI 模型训练与搜索索引。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：行业
- **发布时间**：2026-11-06 23:20（北京时间）
- **原文**：[打开原文](https://www.shuffle-on.com/blog/ai-crawlers-read-my-site)