免费工具检测 robots.txt 是否成功拦截 AI 爬虫

一款免费工具支持检测网站 robots.txt 是否拦截了 AI 爬虫，防范训练抓取导致的云成本激增。Meta-ExternalAgent 等爬虫曾引发 5–10x 的无预警突发流量，GPTBot、Bytespider 和 CCBot 也常导致账单上涨。尽管 GPTBot 与 ClaudeBot 声称遵守 robots.txt，但其仅为软性信号而非防火墙，需结合基础设施层限流与实时监控。