**AgentCrawl：面向 AI 代理的小型自托管爬虫工具**

_AgentCrawl, a small self-hosted crawler for AI agents_

> AgentCrawl 是一款轻量级自托管网络爬虫，专为 AI 代理设计。它可将网页和文档转换为干净的 Markdown、JSON-LD 及元数据，避免向代理传递杂乱的原始 HTML。支持通过 CLI、Python、Docker 或 MCP 服务器运行，具备本地状态管理、断点续爬及防 SSRF 等安全特性，旨在为 AI 应用提供高效、可控的数据提取层。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-06-29 01:30（北京时间）
- **原文**：[打开原文](https://github.com/JorG18/agentcrawl)