Synth Daily

消息人士:随着推理市场爆发,SGLang 项目分拆为 RadixArk,估值达 4 亿美元

AI 基础设施领域正出现一种新趋势:流行的开源项目正在转变为高估值的初创公司。其中,用于加速 AI 模型推理的 SGLang 项目已分拆为商业公司 RadixArk,并在近期融资中获得了约 4 亿美元的估值。这反映了市场对优化 AI 推理效率、降低服务器成本的技术有巨大需求,类似的开源项目 vLLM 也在寻求高额融资,标志着这一领域的商业化浪潮正在兴起。

从开源项目到商业巨头

一种新模式正在 AI 基础设施领域形成:广受欢迎的开源工具正转型为由风险投资支持、估值数亿美元的初创公司。

  • 最新案例: RadixArk,即热门工具 SGLang 背后的商业实体。
  • 核心功能: 帮助 AI 模型以更快的速度更低的成本运行。
  • 市场估值: 在由 Accel 领投的一轮融资中,公司估值达到了约 4 亿美元

RadixArk 的前身是 SGLang 项目,于 2023 年在加州大学伯克利分校的实验室诞生。其团队成员包括来自 xAI 的前工程师 Ying Sheng,她现在担任 RadixArk 的联合创始人兼 CEO。

推理和模型训练是构成人工智能服务服务器成本的主要部分。因此,能够优化这一过程的工具几乎可以立即为企业创造巨大的成本节省。

优化推理:核心价值所在

SGLang 和 RadixArk 的共同目标是优化 AI 模型推理过程。简而言之,就是让模型在同样的硬件上运行得更快、更高效。

随着 AI 服务的普及,推理成本已成为企业运营的巨大负担。因此,像 SGLang 这样的优化工具因其直接的降本增效能力而备受追捧,xAI 和 Cursor 等公司都在使用它来加速模型训练。

并非个例:推理市场的普遍趋势

RadixArk 的成功并非偶然,它反映了一个更广泛的市场动向。

  • vLLM 项目: 一个更成熟的推理优化项目,同样起源于伯克利大学的同一个实验室,也已走上了商业化道路。
  • 巨额融资: 据报道,vLLM 正在洽谈一笔可能使其估值达到 10 亿美元的融资,由 Andreessen Horowitz 领投。
  • 市场认可: SGLang 和 vLLM 在过去半年中都获得了极大的关注度,多家大型科技公司已经在使用 vLLM 来处理其推理工作负载。

商业模式:开源与盈利并行

尽管核心工具保持开源,但 RadixArk 已经找到了商业化的路径。

  • 持续开源: 公司将继续开发 SGLang 作为一个开源的 AI 模型引擎。
  • 增值服务: RadixArk 已经开始对托管服务等收取费用,为企业客户提供更便捷的解决方案。
  • 扩展产品: 公司还在构建名为 Miles 的专业框架,旨在通过强化学习帮助企业持续训练和优化其 AI 模型。