**Crawlerpeek：检测 AI 爬虫访问权限的命令行工具与 MCP 服务器** _Crawlerpeek – check which AI crawl
原帖
**Crawlerpeek：检测 AI 爬虫访问权限的命令行工具与 MCP 服务器**
_Crawlerpeek – check which AI crawlers your site lets in (CLI, MCP)_
> Crawlerpeek 是一款用于检查网站是否允许 AI 爬虫（如 GPTBot、ClaudeBot 等）访问的工具。它不仅能根据 robots.txt 规则判断访问权限，还会实际模拟爬虫请求以验证返回状态、重定向及内容是否包含拦截提示。该工具支持 CLI、npm 库及 MCP 服务器三种使用方式，无需运行时依赖，并提供了针对 AI 爬虫的专用 robots.txt 生成功能。
**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-10-26 05:11（北京时间）
- **原文**：[打开原文](https://github.com/crawlerpeek/crawlerpeek)