Reddit、Yahoo、Medium等平台联手推行新授权标准，AI抓取内容要付费
新开放标准 RSL（Really Simple Licensing） 通过在 robots.txt 中加入许可条款，让网络出版商为 AI 抓取设定授权与付费规则。该标准由 Reddit、Yahoo、Medium 等支持，并由 RSL Collective（非营利）管理，提供免费、署名、订阅、按抓取付费和按推断付费等选项；与此同时，能否被 AI 公司遵守以及如何强制执行仍存在不确定性，RSL 正在通过法律主张与与 Fastly 的技术合作来应对这些问题。
核心要点
- 目的：让出版商在 AI 时代为网页内容设定可被爬取与使用的许可与价格。
- 实现方式：在 robots.txt 文件中添加许可条款（RSL 标准）。
- 许可类型多样：包括免费、署名、订阅、按抓取付费、按推断付费（仅在内容被用于生成响应时收费）。
- 组织结构：由非营利 RSL Collective 管理，类比音乐行业的版权管理机构（如 ASCAP、BMI）。
- 支持方：Reddit、Yahoo、Medium、People Inc.、wikiHow、O'Reilly 等多家传统互联网与出版机构。
- 执行难点：robots.txt 本身无法强行阻断机器人，AI 公司有时会忽视该协议；RSL 依靠法律主张与与 Fastly 的技术合作来尝试控制访问。
许可选项（简述）
- 免费：允许抓取且无需付费或署名。
- 署名（Attribution）：抓取须保留来源署名。
- 订阅：按订阅模式获取许可，适用于长期使用。
- 按抓取付费（Pay-per-crawl）：每次抓取按次计费。
- 按推断付费（Pay-per-inference）：只有当模型实际使用该内容来生成响应时才付费（更直接对应“被使用即付费”的逻辑）。
支持者、管理与领导
- 参与品牌：Reddit、People Inc.、Yahoo、Internet Brands、Ziff Davis、wikiHow、O'Reilly Media、Medium、The Daily Beast、Miso.AI、Raptive、Ranker、Evolve Media 等。
- 管理机构：RSL Collective（非营利）。
- 领导人物：前 Ask.com CEO Doug Leeds、RSS 联合创建者 Eckart Walther。
- 重要声明：Reddit CEO Steve Huffman 表示，RSL 为出版商与平台提供“清晰、可扩展”的授权方式。
"The RSL Standard gives publishers and platforms a clear, scalable way to set licensing terms in the AI era."
（翻译：RSL 标准为出版商和平台在 AI 时代设定许可条款提供了清晰且可扩展的方式。）
执法与技术实现
- 法律途径：RSL Collective 认为许可条款可以具有法律可执行性，并可通过集体行动分摊诉讼成本。Doug Leeds 指出大型和解案表明“法律风险和金额都很大”。
"there's real money at stake"
（翻译：这确实涉及大量金钱。）
- 技术合作：RSL 正与 Fastly 合作，希望通过边缘网络与流量控制作为“门卫”来限制未授权抓取。Cloudflare 的付费抓取服务也被视为可能的类似参与者。
- 局限：单靠 RSL 标准无法自动阻止机器人；如果 AI 平台选择无视 robots.txt，仍需法律或技术门控来应对。
对出版商与 AI 公司的影响
- 出版商：增强议价能力、建立市场价格、争取报酬。集体标准能降低单独谈判成本。
- AI 公司：如果接受，能获得可规模化的许可途径，避免为每个来源单独签约；合法合规的来源还有助于提高答案质量并减少幻觉（hallucination）。
- 双方挑战：AI 公司可能继续忽视 robots.txt；法律追索成本与跨国适用性仍是障碍。
关键不确定性
- AI 公司是否遵守：历史上部分 AI/爬虫会忽略 robots.txt 指令。
- 法律效力与判例：能否在法院建立明确判例尚未确定（相关和解案也存在争议）。
- 技术与商业整合：Fastly、Cloudflare 等能否形成稳定的“门禁”生态，及其商业模式如何影响采集成本。
- 市场反应：用户端体验、内容可用性与搜索/模型训练方式可能随之调整。
简短结论
RSL 提供了一套可操作的规范和组织框架，试图在 AI 抓取与内容付费之间架起桥梁。它为出版商争取更强谈判力和更多授权选项，但成效取决于 AI 公司是否遵守、技术门控能否落地以及法律能否支持该标准。总体来看，这是保护出版方利益的有力尝试，但仍处于早期，未来走向有较多变数。