**开发者推出工具检测 14 款 AI 爬虫对网站的访问权限**

_Show HN: I built a tool to check website access for 14 AI crawlers_

> 该工具可帮助网站管理员检查 GPTBot、ClaudeBot 等 14 款主流 AI 爬虫是否能正常抓取页面。通过模拟不同爬虫的 User-Agent 请求，结合 robots.txt、HTTP 状态码、HTML 文本及 llms.txt 等文件，工具能判断各爬虫的访问状态（允许、部分限制或完全禁止），并指出具体原因，帮助网站优化对 AI 的可见性。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-11-13 13:27（北京时间）
- **原文**：[打开原文](https://floxolab.com/ai-crawler-checker)