高带宽内存 (HBM) 已成为驱动 AI 发展的关键组件，但它也正面临一个核心矛盾。一方面，AI 模型对数据读取速度的极高要求使得 HBM 供不应求；另一方面，计算能力的增长速度远超内存带宽的提升速度，形成了“内存墙”问题。随着 HBM 的制造成本和功耗不断攀升，整个行业正走向一个分水岭：是继续依赖越来越昂贵的 HBM，还是转向创新的“HBM-free”无 HBM 架构。
为何内存再次成为焦点
当前，AI 芯片市场对内存的需求极其旺盛。以 SK 海力士 为例，其 HBM 产能在未来数年内已完全售罄。这种短缺现象凸显了 HBM 在 AI 加速器中的核心地位。
- 什么是 HBM？ HBM（高带宽内存）通过将多个 DRAM 芯片垂直堆叠，并直接连接到 AI 处理器，以实现超高的数据传输速度。这是 GPU 高效读取模型所必需的。
- 市场现状： 需求远超供给，导致 HBM 价格飙升。例如，一款标准的 DDR5 芯片价格在短短几个月内翻了数倍。SK 海力士的 HBM 订单已远超其未来三年的产能。
AI 发展的瓶颈：内存墙
尽管 HBM 是一种封装技术的创新，但它并未从根本上改变芯片架构。这导致了一个日益严重的问题——计算与内存之间的性能差距。
过去 20 年，芯片的峰值计算能力提升了约 60,000 倍，而内存带宽仅提升了约 100 倍。
这个差距被称为 “AI 与内存墙”。更具体地说：
- 性能增长失衡： 计算能力大约每两年提升 3 倍，而内存带宽仅提升 1.6 倍。
- 能耗问题： 移动数据比计算数据消耗更多能量。将数据从片外 DRAM 移入芯片的能耗，是执行一次浮点运算能耗的 1000 倍。
- 推理成本： AI 推理的成本主要受限于内存带宽，因为每次生成内容都需要从内存中完整读取模型权重。更多的计算能力（FLOPs）并不能解决这个问题，成本在于数据抓取。
HBM 的成本困境
虽然 HBM 技术仍在不断演进（HBM4、HBM5 等已在路线图上），但其成本也水涨船高，这使其本身成为了一个经济难题。
- 成本构成： HBM 已成为 AI 芯片中最昂贵的部分。在一块英伟达 B200 芯片中，HBM 的成本约占总制造成本的 45%，甚至超过了逻辑芯片本身。
- 代际成本增加： 每一代 HBM 的价格都在上涨。据估计，HBM3 每堆栈成本约 200 美元，HBM3E 为 300 美元，而 HBM4 将达到 500 美元。
- 高昂的制造成本： 生产 HBM 的晶圆面积成本是普通 DRAM 的 3 到 4 倍。新技术（如混合键合、玻璃中介层、内置冷却通道）的引入，进一步推高了成本和功耗。
行业的分裂：两种应对策略
面对 HBM 的高昂成本，行业内部已出现两种截然不同的发展路径。
阵营一：坚持使用 HBM
这一阵营的参与者主要是市场领导者，他们将高昂的 HBM 成本视为开展业务的必要开销。
- 主要玩家： 英伟达 (Nvidia)、AMD 以及拥有自研芯片的大型云服务商，如谷歌 (TPU) 和亚马逊 (Trainium)。
- 策略： 设计所有产品时都围绕 HBM 进行，并通过争夺有限的 HBM 产能来保持竞争力。
阵营二：探索无 HBM (HBM-free) 架构
这一阵营由众多初创公司和部分内存制造商组成，他们押注 HBM 的成本将持续高企，从而为替代方案创造市场机会。
- 核心理念： 开发不依赖 HBM 的新架构，以更低的成本实现相似的性能。
- 代表方案：
- Groq： 使用片上 SRAM 存储模型，完全不使用 HBM。
- Cerebras： 制造巨大的晶圆级芯片，集成海量 SRAM。
- Taalas： 将模型权重直接硬编码到芯片中。
- 高带宽闪存 (HBF)： Sandisk 和 SK 海力士合作，利用廉价的 NAND 闪存堆叠来模拟 HBM 的带宽，其成本可能仅为 HBM 的十分之一。
未来的不确定性
尽管 HBM 的成本是当前的核心议题，但未来并非一成不变。
- 产能可能过剩： 各大内存厂商正在投入巨资扩大产能，这可能在未来几年导致 HBM 市场从短缺转向过剩，从而压低价格。内存行业以其剧烈的周期性而闻名。
- 技术和良率提升： 随着制造工艺的成熟，HBM 的良率会提高，单位成本会下降。
- 模型优化： AI 模型本身也在进化，例如使用更低精度（如 4-bit）的权重，可以显著减少所需的内存带宽和容量。
最终，AI 芯片的未来取决于一个关键假设：HBM 的价格走向。如果 HBM 持续昂贵，那么无 HBM 架构将迎来巨大机遇。反之，如果其成本能够得到有效控制，它仍将是未来 AI 芯片的主流选择。