**Crawlable 审计 50 家头部网站：AI 可读性均分仅 51.5，无一获 A 级**

_Crawlable – We audited 50 top web apps for AI crawler readability_

> Crawlable 对 50 家顶级初创、SaaS 及电商网站进行 AI 爬虫可读性审计，结果显示无一家获得 A 级评分，平均得分仅为 51.5 分。主要问题包括：78% 的网站未在 robots.txt 中明确列出 AI 爬虫，70% 的网站未提供符合规范的 llms.txt 文件，且 30% 的网站存在空 JavaScript 外壳页面，导致内容仅在浏览器渲染后可见。研究指出，当前网站对 AI 爬虫的治理普遍缺失，缺乏明确的意图声明和结构化数据支持。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：行业
- **发布时间**：2026-10-12 01:36（北京时间）
- **原文**：[打开原文](https://usecrawlable.com/research/ai-search-readability-index)