主要 AI 公司支持新的 AI 内容爬虫退出标准

OpenAI、Google、Microsoft 和 Anthropic 宣布将采纳 IETF 提出的共享 policy token 标准，该标记将嵌入网站的 robots.txt 文件，让出版商可一次性设定全公司的 AI 爬虫偏好，而非逐个平台配置。