Synth Daily

生成式 AI:一场工程学的灾难

生成式AI,尤其是大语言模型,本质上是一场工程灾难。它因其极低的效率和无法有效扩展的特性,正引发全球计算机硬件短缺、价格飙升,并消耗巨量电力。这种现象并非技术发展的必然,而是行业在巨额投资和不切实际的炒作下,选择了一条牺牲效率的“蛮力”发展路径,最终将成本转嫁给了所有消费者。

资源黑洞:一场由 AI 引发的短缺

生成式 AI 对计算资源的贪婪需求正在对市场造成严重冲击,并让普通消费者付出代价。

  • 内存短缺:像 ChatGPT 这样的大语言模型极度消耗资源,导致科技公司可能买走了全球70%的高端计算机内存,引发了供应短缺。
  • 价格飞涨:因此,计算机内存和存储设备的价格飙升。两年前售价350美元的硬盘,如今价格涨到800美元还缺货。一些笔记本电脑的价格上涨了50%,而低成本计算机受到的冲击最大。
  • 电力危机:数据中心的扩张速度惊人,其电力需求巨大,以至于一些公司不得不重新利用喷气发动机来为它们供电。

有预测称,平价的入门级电脑可能“到2028年消失”。

无法扩展:生成式 AI 的“原罪”

问题的核心在于,用行业术语来说,生成式AI无法有效扩展(scale)。一个健康的科技产品,其用户规模从一千增长到一百万时,服务每个新用户的成本应该会下降。这依赖于高效的系统工程。

然而,生成式AI恰恰相反。

  • 糟糕的扩展性:在计算机科学中,高效的程序处理更多数据时,处理每个新增数据所需的时间或内存会减少,这被称为对数扩展(logarithmic scaling)
  • 低效的本质:大语言模型(LLM)的扩展方式是二次方扩展(quadratically)。当它们处理更多文字时,会变得更慢并使用更多内存。任何计算机科学专业的学生都知道,这非常糟糕。

就经济和工程指标而言,生成式AI可能是有史以来部署过的最糟糕的技术

“越大越好”的误区

业界普遍认为更大的模型性能更好,这催生出一种对“扩展定律”的盲目崇拜,即认为只要把模型做得足够大,任何问题都能解决。

然而,这种方法的收益正在递减。AI模型越大,每增加一个参数所带来的性能提升就越小。为了维持稳定的进步,模型必须以更快的速度变得更大,这进一步加剧了效率问题。几位AI研究人员在被问及时,都想不出任何其他现实世界中扩展性如此之差的软件。

被抛弃的效率之路

AI并非必须如此构建。传统的AI研究曾试图模拟人类的思维过程,这种方法消耗的资源要少得多。但由于难以明确和表述人类思想的规则,该方法很大程度上被放弃了。

今天的“蛮力”方法之所以流行,并非因为它更优秀,而是因为它更容易获得投资。

OpenAI 的联合创始人之一 Ilya Sutskever 解释说,公司采取这种蛮力方法“因为它为你提供了一种风险极低的资源投资方式。”

与此同时,一些致力于开发更高效、更小模型的项目,却没有得到足够的关注或资金。AI研究员 Alexia Jolicoeur-Martineau 独立设计了一款小型模型,并对行业的主流做法感到震惊:

“这有点疯狂……到某个时候,你必须学会提高效率。”

将低效转嫁给所有人

最糟糕的是,这种低效的技术正被强制集成到我们日常使用的各种工具中,无论你是否需要。

  • 操作系统:Windows 和 MacOS 都已集成AI功能,这意味着运行一台基本的个人电脑需要更强的性能。
  • 常用软件:Adobe Photoshop 和 Microsoft Word 等软件也加入了低效的AI功能,迫使用户升级更强大的电脑。

这一切发生在一个糟糕的时机:被称作摩尔定律的硬件性能指数级增长趋势已经放缓。计算机芯片的进步速度已经跟不上AI对资源需求的指数级增长。

技术背后的神话叙事

最终,这种对效率的漠视可能源于科技行业内部的一种信念——他们正在复制智能本身。尽管大语言模型在事实核查、常识判断上表现拙劣,且其结构与生物大脑完全不同,但许多人仍抱有近乎宗教的狂热,认为其中会诞生类似心智的东西。

这种对AI的神话化吸引力非常强大,以至于许多工程师认为,任何事情都不应阻碍他们前进的道路,即便这意味着要抛弃编写高效软件的基本任务。就连AI的“教父”之一 Yann LeCun 也表示:“LLM不是通往超级智能,甚至不是通往人类水平智能的道路。”