OpenAI、谷歌、微软、Anthropic联手支持AI爬虫"共享退出令牌"标准

OpenAI、谷歌、微软和Anthropic宣布将支持一项针对AI爬虫的共享"政策令牌"标准：网站出版方只需在robots.txt中设置单一条目，即可一次性向多家AI公司表达拒绝被抓取的偏好，无需逐家通知。该提案由Anthropic标准负责人Kevin Kelley起草并经互联网工程任务组（IETF）提交。Anthropic已率先实施，OpenAI计划数月内落地，谷歌和微软目标明年支持；微软还将提供更细粒度控制，允许分别退出AI训练或AI grounding。Meta表示有兴趣但未作承诺。