大脑的卓越学习效率并非源于某种独特的通用架构，而是来自一套复杂且多样化的内在奖励函数。这个被称为“驾驶系统”（Steering Subsystem）的古老机制，通过演化形成的丰富奖励信号，引导着通用的“学习系统”（Learning Subsystem）去关注和学习对生存至关重要的事物。这种分工解释了为何有限的基因组信息能编码出复杂的行为。要真正理解这一机制并推动人工智能发展，未来十年需要通过大规模的神经科学基础设施（如全脑连接组图谱）来揭示其工作原理。
大脑的秘密：复杂的奖励函数，而非架构
当前人工智能模型在学习效率上远不及人类，一个被忽视的关键因素可能在于 奖励与损失函数 的复杂性。机器学习偏爱数学上简洁的损失函数，例如“预测下一个词元”。然而，演化可能为大脑设计了一套极为复杂的系统。
- 复杂的内在“代码”: 演化可能编写了大量的“Python代码”，在不同发育阶段为大脑不同区域激活特定的损失函数，形成一套精密的学习课程。
- 通用预测引擎: 大脑皮层可能是一个强大的“全向预测引擎”。与仅仅预测下一个词元的语言模型不同，皮层任何区域都能学习根据输入信息的任意子集来预测另一缺失的子集。
- 与生俱来的基础: 这个学习系统建立在一个更原始的“蜥蜴大脑”之上。因此，大脑不仅预测外部世界，也预测自身的身体反应，如心率变化或肌肉紧张。
人工智能领域往往追求简洁的算法，但大脑的真正精髓可能恰恰在于其“凌乱”且高度特化的奖励机制。
学习系统与驾驶系统
一个深刻的问题是：演化如何在不预知未来（如播客、科学家）的情况下，编码抽象的欲望（如避免惹恼部落里的重要人物）？史蒂夫·伯恩斯（Steve Byrnes）的理论提供了一个解释框架，将大脑分为两个协作的子系统。
- 学习系统 (Learning Subsystem): 以大脑皮层为代表，是一个强大的通用学习算法，能够形成关于世界的复杂模型，并具备泛化能力。它能将“蜘蛛”这个词与真实的威胁联系起来。
- 驾驶系统 (Steering Subsystem): 由下丘脑、脑干等更原始的脑区组成，包含大量与生俱来的反应和启发式规则（例如，对快速移动的小物体产生本能的闪避）。它拥有自己原始的感官输入。
两者的连接方式是关键：学习系统通过预测驾驶系统的反应来建立关联。例如，皮层中的某些神经元会学习预测哪些情况会触发驾驶系统的“恐惧”或“闪避”反应。通过这种方式，一个抽象的概念（比如听到“你背后有蜘蛛”）就能成功激活与生俱来的恐惧回路。
这个理论的核心观点是，学习系统通过模拟更原始的驾驶系统，将新学到的抽象概念与基本的、与生俱来的奖励和惩罚信号连接起来。
基因组如何编码复杂性
这个框架也解释了为何仅有少量信息的基因组能够构建出如此智能的大脑。演化不需要预先编写所有行为，而是通过一种更高效的方式进行编码。
- 编码奖励，而非知识: 基因组的重点不是编码一个庞大的世界模型，而是编码一套丰富的奖励函数和用于引导学习的内在驱动力。编写一个奖励函数（例如，“避开看起来像蜘蛛的东西”）比编码所有关于蜘蛛的知识要紧凑得多。
- 细胞类型的证据: 神经科学的证据也支持这一观点。在负责 innate 行为的 驾驶系统 中，科学家发现了大量奇特、多样且高度特化的细胞类型。相比之下，作为 学习系统 的大脑皮层，其细胞类型则相对统一和重复。这暗示了驾驶系统拥有更复杂的、由基因预先设定的“硬连线”电路。
大脑中的强化学习
与当前大型语言模型使用的简单强化学习方法不同，大脑似乎同时运用了多种更复杂的策略。
- 模型无关 (Model-Free) RL: 在基底核等区域，大脑似乎在执行一种简单的、类似于习惯的强化学习。它直接学习在特定状态下应采取何种行动，而不建立详细的世界模型。
- 模型基 (Model-Based) RL: 大脑皮层则在构建一个关于世界的模型。这个模型不仅包含对物理世界的理解，还包括对“在何种情况下会获得奖励”的预测。它能够通过模拟未来的可能性来进行规划。
- 奖励预测误差: 多巴胺系统的工作方式更像是在传递一种“奖励预测误差”信号，而不是简单的“奖励有或无”。这与时序差分学习（Temporal Difference Learning）等更高级的强化学习算法一致。
绘制大脑图谱：连接组学的重要性
为了真正搞清楚大脑的算法，我们需要从根本上提升神经科学的技术能力。仅仅进行零散的实验是不够的，我们需要一个全面的大脑地图。
- 目标: 目标是逆向工程出大脑的 架构、学习规则、初始化参数和奖励函数。
- 什么是连接组 (Connectome): 这是一个描述大脑中所有神经元及其连接的完整图谱。现代技术追求的是“分子注释连接组”，它不仅能显示谁与谁相连，还能标明连接处的分子类型，从而提供更丰富的信息。
- 规模与成本: 获取第一个完整的小鼠大脑连接组可能需要数十亿美元。当前的目标是通过新技术将成本降低到数千万美元级别。这需要像人类基因组计划那样，进行一次集中的、大规模的科研投入。
如果我们能在未来十年内，将一个完整的小鼠大脑连接组和人类的“驾驶系统”图谱存入硬盘，那将从根本上改变我们对智能和对齐问题的理解。
自动化数学的未来
形式化数学语言 Lean 的发展，为自动化数学推理提供了新的可能性。
- 可验证的证明: Lean 是一种编程语言，可以用它来编写数学证明。写完后，计算机可以 自动验证该证明是否在逻辑上无懈可击。
- 强化学习的完美目标: 这种机械化的验证过程为强化学习提供了一个完美的奖励信号。AI 可以通过不断试错来搜索并找到正确的证明路径，类似于 AlphaGo 学习下围棋。
- 应用前景:
- 加速数学研究: 自动完成繁琐的证明步骤，让数学家专注于提出创新的猜想和概念。
- 可验证软件: 应用于软件工程，可以从数学上证明一段代码没有某些类型的漏洞，从而极大地提升网络安全。
虽然这项技术未必能很快解决黎曼猜想，但它将极大地改变数学和软件工程领域的工作方式，使之更加可靠和高效。