Hacker News · AI· crawlerpeek·· 3 小时前精选AI 评分62
AI 爬虫检测工具 Crawlerpeek 发布，支持 CLI 与 MCP 协议
Crawlerpeek – check which AI crawlers your site lets in (CLI, MCP)
AI 导读
开源工具 Crawlerpeek 正式发布，用于检测网站是否放行主流 AI 爬虫。它支持解析 robots.txt 匹配规则，并通过模拟 GPTBot、ClaudeBot 等 User-Agent 抓取页面，直接返回 HTTP 状态、重定向链及拦截页面判定结果。该工具无需运行时依赖，同时提供 Node.js 库、CLI、GitHub Action 以及支持本地缓存的 MCP 服务端。
推荐理由
该工具整合了规则校验与模拟抓取，便于开发者在CI或MCP环境中排查AI爬虫拦截问题。
来源：Hacker News · AI · github.com