Google、Microsoft、Anthropic 与 OpenAI 联合支持新 AI 爬虫退出标准

Google、Microsoft、Anthropic 和 OpenAI 宣布支持新的网页抓取标准，允许网站通过单条 robots.txt 规则一键阻止所有生成式 AI 爬虫收集训练数据。相关方案已向负责维护机器人排除协议的 IETF 提交草案。Microsoft 与 OpenAI 还将提供防止模型为实时问答检索网页内容的额外控制选项，两家公司计划在数月内上线支持，Google 预计次年跟进。