Hacker News · AI· shahidsaleem·· 2 小时前精选AI 评分64
Crawlable 评测 50 款主流 Web 应用的 AI 爬虫可读性
Crawlable – We audited 50 top web apps for AI crawler readability
AI 导读
Crawlable 发布针对 46 款主流 Web 应用的 AI 爬虫可读性审计结果，受测网站中位数仅 55 分且无一达到 90 分。测试显示 14 家网站存在依赖客户端渲染导致的空白 JavaScript 外壳，36 家未在 robots.txt 中明确区分 AI 爬虫规则，且多数网站提供的 llms.txt 未能通过规范校验。
推荐理由
审计揭示了主流网站在客户端渲染与规则配置上的常见漏洞，为开发者优化面向 AI 搜索的内容呈现提供了具体参考。
来源：Hacker News · AI · usecrawlable.com