随机计算

随机计算是一种处理随机比特流的计算方式，其功能类似于模拟计算。它的核心优势在于硬件简单、抗噪声能力强，并且能高效处理概率问题。尽管这一概念诞生于上世纪60年代，但受限于当时的技术未能普及。随着现代芯片技术的发展，它有望在神经网络和机器学习等领域实现极高的能效和性能，成为比传统数字计算和量子计算更具现实潜力的技术方向。

什么是随机计算？

随机计算可以被看作是一种用数字方式实现的模拟计算。它不依赖于精确的电压值，而是通过处理随机比特流并对其进行计数来完成运算。

• 工作原理：它使用一连串随机的比特（0或1）来代表一个数值。例如，一个流中“1”出现的频率可以代表一个概率值（如70%的“1”代表0.7）。
• 核心优势：
  • 硬件简单：对比传统数字计算所需的复杂算术逻辑单元（ALU），随机计算的基本操作（如乘法）仅需一个简单的“与门”即可实现。
  • 抗噪声性强：在计算过程中，少数比特的翻转（噪声）对最终结果的影响很小，远胜于模拟计算中电压波动带来的巨大误差。
  • 天然适合概率运算：由于其用比特流频率代表数值，因此非常适合直接处理机器学习和神经网络中常见的概率和不确定性问题。

随机计算的先驱者 Brian Gaines 曾精辟地总结了机器学习的本质：“以较低的精度，用一种可变的、依赖经验的方式，处理海量数据。” 这恰恰是随机计算所擅长的。

历史与复兴

随机计算的概念最早由冯·诺依曼在20世纪50年代提出，并在60年代由 Brian Gaines 和 Wolfgang Poppelbaum 等人独立发展出实际的架构。在那个时代，即使是价值数千万美元的超级计算机，其性能也远不及今天的智能手机。因此，研究人员曾使用模拟计算机进行早期的机器学习研究。

• 早期应用：随机计算在当时被认为是一种有竞争力的替代方案，因为它成本更低，且能由小型研究团队构建。它曾被用于早期的自主机器人、雷达跟踪器和PID控制系统等。
• 衰落原因：随着晶体管技术飞速发展，传统数字计算在精度和通用性上占据了主导地位，随机计算逐渐被边缘化。
• 现代复兴：如今，我们可以在单个芯片上集成数十亿个晶体管，这为随机计算的复兴创造了条件。现代芯片技术不仅能制造出更可靠的组件，也能制造出随机计算所擅长的、允许一定不可靠性的组件。

为什么现在重提随机计算？

随着机器学习，特别是深度神经网络的兴起，我们再次面临处理海量数据和概率运算的挑战。当前的计算模式能耗巨大，而随机计算提供了一条潜在的高能效路径。

• 能效优势：有研究推测，将深度神经网络映射到随机计算架构上，其能效可能比当前方法高出数千倍。它可以在更低的电压下工作，并能更从容地处理随之而来的噪声。
• 架构匹配：
  • 神经网络中的许多概念，如 Dropout 和 ReLU 激活函数，本质上都体现了“用不精确的方式处理信息”的思想，这与随机计算的理念不谋而合。
  • 对于脉冲神经网络（Spiking Neural Nets）这类模拟生物神经元工作的模型，随机计算提供了比传统计算机更自然的实现方式。

随机计算与机器学习社区反复发现的真理相呼应：Dropout、ReLU、正则化、随机森林等技术，都是对“不精确性有益”这一概念的再发现。

未来展望

像 Extropic 这样的初创公司正在尝试复兴随机计算，他们称之为“热力学计算”，并提出了提升万倍能效的宏伟目标。如果这一方向能够成功，它可能带来计算领域的真正突破，其现实意义甚至可能超过目前备受关注的量子计算。

与量子计算面临的诸多物理学难题不同，随机计算建立在已知的原理之上，技术路径更为清晰。它代表了一种足够不同，但又不存在明显无法克服障碍的创新方向，有望为人工智能的发展提供更强大、更高效的计算基础。