Cloudflare 的首席执行官 Matthew Prince 正在呼吁英国监管机构采取行动，他认为谷歌利用其在搜索领域的垄断地位，通过捆绑的网络爬虫为自家 AI 产品免费获取内容，这是一种不公平的竞争行为。Prince 的核心论点是，谷歌强迫网站所有者在“被其 AI 抓取内容”和“从谷歌搜索中消失”之间做出选择，这扼杀了其他 AI 公司的发展空间。他提议，监管机构应强制谷歌将其用于搜索的爬虫与用于 AI 训练的爬虫分离开来，以创造一个更公平的竞争环境。
谷歌如何利用捆绑策略获利
Prince 指出，问题的核心在于谷歌将其用于传统搜索的爬虫与用于 AI 内容抓取的爬虫捆绑在一起。这给网站所有者，尤其是媒体和内容发布者，带来了一个无法接受的选择。
“谷歌声称，‘我们拥有对世界上所有内容神圣不可侵犯的权利，即使我们不付钱’……他们说，我们可以用服务于搜索的同一个爬虫来驱动我们的 AI 系统。如果你想退出其中一个，就必须同时退出另一个。”
对于任何依赖网络流量的业务来说，这意味着一个两难的困境：
- 选择一：允许谷歌抓取内容。 这意味着网站内容被免费用于训练谷歌的 AI 模型，而这些模型未来可能会直接与内容发布者竞争。
- 选择二：阻止谷歌抓取。 这不仅会导致网站在谷歌搜索中消失（通常意味着损失约 20% 的收入），甚至可能影响到广告系统的正常运作，因为谷歌的广告安全团队也无法访问网站。这对于绝大多数企业来说是 完全不可行的。
扼杀 AI 市场竞争
通过这种捆绑策略，谷歌能够免费获取海量的高质量内容，而其他 AI 公司，如 Anthropic、OpenAI 和 Perplexity，则需要通过协商和付费来获取同样的内容。
这给了谷歌 巨大的、不公平的成本优势，并严重阻碍了 AI 市场的健康竞争。如果这种情况持续下去，新兴的 AI 公司将难以与谷歌抗衡，最终可能导致谷歌在 AI 领域形成新的垄断。
Prince 警告说：“问题在于，我们实际上将把整个游戏拱手让给谷歌。”
解决方案：强制拆分爬虫
Prince 提出的解决方案非常直接：监管机构应强制谷歌拆分其网络爬虫。这意味着谷歌需要维护两种不同目的的爬虫：
- 一个用于 公共搜索索引，就像过去二十多年一样。
- 另一个用于 商业性的 AI 内容抓取，它必须像其他任何 AI 公司一样，在平等的条件下竞争并可能需要为内容付费。
此举旨在创造一个充满活力的竞争市场，让成千上万的 AI 公司可以与数百万的内容创作者进行交易，而不是让单一巨头主导一切。
行业共识与监管前景
Cloudflare 自身并非 AI 公司，但其网络服务于 80% 的 AI 公司和大量媒体发布者，使其处于一个独特的中立位置来观察市场动态。
这一观点也得到了其他行业领袖的认同。美国最大的数字和印刷出版商 People, Inc. 的首席执行官 Neil Vogel 也曾公开指责谷歌是“不良行为者”，因为这种捆绑策略让媒体公司别无选择。
英国竞争与市场管理局（CMA）已经将谷歌在搜索和广告市场的地位标记为“实质性且根深蒂固”，这为更严格的监管铺平了道路，包括对其 AI 产品的审查。Prince 认为，监管机构的这一举动表明他们已经意识到了谷歌所拥有的独特优势。