Gimlet Labs 通过开发“多芯片推理云”软件，解决了 AI 算力利用率低下的难题。该技术能将 AI 任务切分并分配给 CPU、GPU 和高内存系统等不同硬件同步处理，将推理效率提升了 3 至 10 倍。目前，公司已获得 8000 万美元 A 轮融资，并与英伟达、英特尔等芯片巨头达成合作，旨在通过软件层面的优化，大幅降低数据中心的资源浪费和运营成本。
算力浪费：昂贵硬件背后的低效现状
目前的 AI 应用在现有硬件上的实际运行效率仅为 15% 到 30%。这意味着全球数据中心投入的数千亿美元中，有很大一部分浪费在了闲置资源上。
- 硬件瓶颈各异： 一个 AI 智能体的不同步骤对硬件的要求不同。推理过程依赖计算力，解码过程依赖内存，而工具调用则依赖网络。
- 缺乏通用芯片： 市场上目前还没有任何一种芯片能完美胜任所有环节。
- 闲置资源巨大： 许多旧型号的 GPU 或通用的 CPU 在高性能 AI 任务中往往处于“旁观”状态。
核心方案：首个多芯片推理云
Gimlet Labs 的核心产品是一层编排软件，它充当了 AI 任务与硬件之间的“智能调度员”。
- 跨平台协同： 软件可以将 AI 工作负载同时分配到不同类型的硬件上运行，不再局限于单一型号的 GPU。
- 模型切分技术： 它甚至能将底层的 AI 模型进行切分，让模型的不同部分在最适合它们的芯片架构上运行。
- 兼容性强： 能够利用任何现有的硬件资源，无论是最新的 AI 芯片还是老旧的硬件。
“我们基本上是在利用任何可用的不同硬件。我们的目标是让 AI 工作负载的效率比现在提高 10 倍。” —— 创始人 Zain Asgar
市场表现与行业影响
尽管公司成立不满一年，但其商业模式和技术路径已获得市场高度认可。
- 显著的性能提升： 在成本和能耗不变的前提下，将 AI 推理速度提升了 3 到 10 倍。
- 顶级合作伙伴： 已与 NVIDIA、AMD、Intel、ARM、Cerebras 以及 d-Matrix 等芯片巨头建立合作关系。
- 强劲的财务数据： 公司团队约 30 人，目前已实现千万美元级别的收入，客户包括大型 AI 模型实验室和极具规模的云计算公司。
融资背景
本轮 8000 万美元 的 A 轮融资由 Menlo Ventures 领投，累计融资额达 9200 万美元。
“多芯片机群已经准备就绪，只是缺少让它们协同工作的软件层。” —— Menlo Ventures 合伙人 Tim Tully
这一技术路径的成功，预示着未来 AI 算力的竞争可能不再仅仅是“堆硬件”，而是如何通过更聪明的软件调度来榨干每一块芯片的潜能。