Synth Daily

AI 芯片、ComputeRAM 与数据搬运的未来:与 Synthara 创始人 Manu 的对话

这篇内容探讨了当前 AI 芯片设计的核心瓶颈——数据在内存和计算单元之间的移动成本,并介绍了瑞士半导体公司 Synthara 的解决方案。其核心论点是,数据移动而非计算本身是真正的性能障碍。Synthara 提出的 “Compute RAM” 技术通过将计算逻辑紧密集成在标准内存附近,以 IP 授权的模式,为芯片设计商提供了一种务实且高效的近存计算方案,旨在改变行业架构,应对能效挑战。

数据搬运:真正的瓶颈

原始处理能力已不是性能瓶颈。真正的障碍是 内存墙 (memory wall),即计算单元大部分时间都在空闲,等待从内存中获取数据。整个行业都在试图解决这个根本问题。

  • Groq: 其 LPU 芯片集成了 230MB 的片上 SRAM,带宽比传统 HBM 高出一个数量级,旨在完全绕过 HBM 瓶颈。
  • Cerebras: 为了消除内存墙,其晶圆级芯片 (WSE-3) 在单片晶圆上集成了 44GB 的 SRAM,内存带宽是单个 GPU 的 7000 倍。
  • Etched: 专注于打造只运行 Transformer 算法的专用芯片,通过硬连线特定的计算模式,大幅减少每个 token 所需的内存流量。

问题的核心是,移动数据非常昂贵。无论是在全球数据中心之间传输,还是在芯片内部的微小距离上移动。

解决思路:存内计算 vs 近存计算

为了缩短数据移动的距离,行业主要有两种探索方向:

  • 真存内计算 (True Compute-in-Memory): 这是一种激进的方案,试图让内存单元本身直接进行数学运算。例如,利用忆阻器的物理特性直接完成矩阵乘法。然而,这种技术在制造、校准和跨工艺节点扩展方面极其困难,至今未能大规模成功。

  • 近存计算 (Near-Memory Compute): 这是一种更为务实的方案。它不改变内存单元本身,而是将计算逻辑尽可能地靠近内存阵列。你不是在消除数据移动,而是在让移动的距离变得极短。 三星的 HBM-PIM 就是一个例子,它在内存堆栈内部嵌入了小型处理单元。

Synthara 的 "Compute RAM" 技术就属于近存计算的范畴。

Synthara 的务实之道:Compute RAM

Synthara 公司选择了一条与众不同的道路,既不制造完整的定制芯片,也不追求难以实现的“模拟魔法”。

  • 技术核心: Synthara 的产品是 “Compute RAM”,它将标准的数字计算逻辑与标准的内存阵列 紧密耦合。其能效提升(在边缘设备上据称可达 100 倍)主要来自于极大地缩短数据路径,而非利用奇特的物理原理。

  • 商业模式: 他们不制造和销售芯片,而是以 IP 授权 的形式向芯片设计商提供解决方案。这种模式让 Synthara 能够将技术集成到不同公司的产品中,无论是恩智浦 (NXP)、英飞凌 (Infineon) 还是其他 AI 芯片初创公司,从而避免了单次“流片”定生死的巨大风险。

  • 兼容性与易用性: 他们提供完整的软件栈,确保客户在集成 Compute RAM 后,现有的软件和系统架构不受影响,无需为了 AI 推理而彻底重构。

“如果你的仓库在城外很远的地方,你就需要每秒十亿次地把货物运到市中心。这效率极低。架构设计实际上就是在处理如何以战略性的方式将事物错落有致地布置,从而提高效率。”

对话核心洞见

与创始人 Manu Nair 的对话揭示了几个关键观点:

  • 数据移动是所有问题的核心: 从苹果的统一内存到 DeepSeek 的算法优化,再到定制芯片的爆发,所有这些现象的根源都是为了解决同一个约束:数据穿梭于计算和存储之间的成本。一旦认识到这一点,整个行业不同的架构选择就都说得通了。

  • 数字设计胜过模拟魔法: Manu 的博士研究方向是神经拟态计算,但他刻意避开了模拟计算路线。他认为,行业不想要模拟计算,因为它难以跨工艺节点移植。通过精心的数字设计,将计算逻辑紧挨着标准内存,已经可以获得大部分能效优势,同时避免了制造上的噩梦。

  • 定制芯片是“坟场”: 许多备受瞩目的 AI 芯片初创公司(如 Cerebras、Groq)成立近十年,市场份额仍不足百分之一。这表明,被许多人认为会“限制上限”的 IP 授权模式,对于新入局者来说,实际上可能是唯一可行的路径。Arm 的成功证明了,不制造一枚芯片也能定义一个计算时代。

行业展望:“停止移动数据”

计算内存已不再是学术界的空想。三星、SK 海力士等巨头已推出相关产品。谷歌、亚马逊等云服务商的下一代自研芯片很可能会将某种形式的近存计算作为核心架构。当 GPU 有 70% 的时间在等待数据时,优化的方向显而易见。

对于 Synthara 这样的公司而言,其价值主张非常清晰:成为计算内存领域的“Arm”。他们不与英伟达正面竞争,而是通过 IP 授权,为整个行业提供解决数据移动问题的关键构件。在一个所有人都想方设法“停止移动数据”的时代,这或许是一条更聪明的制胜之路。