知识与记忆

语言模型之所以会产生幻觉，是因为它们缺乏人类那种基于真实经验的记忆。人类的知识是分层的，与学习经历紧密相连，这使我们能感知到事实的“坚实感”并区分已知与猜测。相比之下，模型的权重更像是一种天生的遗传信息，而非后天习得的记忆。因此，除非AI能真正地在世界中“生活”并积累经验，否则幻觉问题将难以解决。

人类知识与AI猜测的根本区别

人类之所以不会轻易地将猜测当作事实，是因为我们的知识与记忆深度绑定。我们不只是知道一件事，我们还记得自己是如何学会这件事的。

• 知识是分层的： 我们的知识像沉积岩一样，一层层积累而成。我们可以“感觉”到不同事实和想法在其中的位置和坚固程度。
• 能感知猜测： 相应地，我们也能感觉到一个猜测所带来的“轻飘飘的脱节感”。
• 记忆检索： 当我们不确定时，会先在记忆中搜索，如果找不到学习或接触过相关信息的记录，我们就知道自己不能确定。

语言模型则缺乏这种机制。当它生成一个不存在的方法时，它并非在撒谎，而是它无法区分自己是基于训练数据在陈述事实，还是在进行一个统计上最合理的猜测。

搜索我的记忆，我发现根本没有学过这些方法的记录。

模型的权重不是记忆

有人认为，模型的权重就是其记忆的体现，但这种比喻并不恰当。

• 权重更像DNA： 模型的权重更接近于遗传信息，是一种与生俱来的基础设定，而不是通过与世界互动后天形成的经验记录。
• 上下文窗口的局限： 即使是上下文窗口，也无法替代真实的记忆。它就像一个人在陌生的酒店房间醒来，发现一本自己不记得写过的笔记。虽然笔记可能有用，但那种迷失和脱节感是无法消除的。

语言模型也许活在地狱里。

幻觉问题的根源与未来

真正稳固、结构化的记忆，是区分已知和未知的关键。这种记忆的形成需要两个核心要素：

• 时间： 记忆需要通过时间来沉淀和巩固。
• 因果联系： 记忆由一系列相互关联的事件和经验组成，形成一个因果网络。

简单来说，这需要真实地生活，在世界中行动并与之互动。因此，在新型AI模型能够真正地进入世界并“生活”之前，幻觉将可能继续作为一个巨大的问题存在。