本文探讨了人工智能发展中的多个核心问题，指出AI的进步并非坦途。文章首先分析了全球计算资源集中化、数据效率瓶颈、训练与推理融合等技术与公平性难题。接着，通过区分智能与权力，论证了现实世界中的权力更多源于社会协作而非纯粹智力，AI的智力增长不直接等同于权力获取。文章进一步指出，由于科学理论的验证过程漫长且复杂，AI难以通过简单的强化学习在科学上取得重大突破。最后，以达尔文进化论的发现为例，说明重大科学思想的诞生往往依赖于多种辅助知识的成熟和历史条件的配合，而非孤立的创新。
更多开放性问题
关于人工智能，仍然存在一些难以通过简单标准评判，但却至关重要的问题。
计算资源的集中化： 全球超过70%的AI计算资源由少数几家巨头控制。这引发了一个担忧：当计算资源变得极其宝贵时，那些不能直接导向“奇点”或机器人革命，但能赋能普通人、改善生活的应用，是否会因为投资回报率不高而被边缘化？普通人最终是否会因成本过高而无法享受到AI的好处？如果需要为此担忧，那么具体的通用基本计算资源（Universal Basic Compute）应该如何分配？
数据效率的困惑： 过去几年，AI模型的进步很大程度上依赖于数据。但这具体是如何实现的，仍不清晰。
- 长远编码智能体的突破： Anthropic等公司在构建能进行复杂编码的AI方面取得了突破。这仅仅是堆叠了更多强化学习环境，还是背后有更独特的技术？
- 样本效率的提升： 模型的学习效率（从每个样本中学到更多知识的能力）真的在提高吗？还是我们仅仅是扩大或改善了输入的数据？这个问题对于机器人等需要高样本效率的领域至关重要。
- 内存与效率的权衡： 模型在处理上下文信息时非常高效，但这需要消耗巨大的内存（例如Llama 3 70B模型中每个token的KV缓存高达320KB）。为什么存在这种内存与样本效率之间的权衡？信息存储的效率差异可以达到惊人的3500万倍。
训练与推理的融合： 目前，模型在“推理”（实际工作）时不学习，在“强化学习生成”（为学习而模拟工作）时不产生实际价值。这种区分非常奇怪。未来，训练和推理这两种工作负载将如何融合？或许未来AI的进步依赖于“在职学习”，即在完成实际任务的过程中不断学习和改进，因为单纯的模拟环境已无法提供更多可学的东西。
AI生成内容污染数据池： 当互联网上大部分内容由AI生成，并且这些内容被用于训练未来的模型时，是否会发生类似“千年虫”的问题？2023年之前的人类数据集的相对价值是否因此增加了？
持续学习与赢家通吃： AI可以通过在不同岗位上的持续学习，汇集所有副本的经验，从而迅速掌握世界上所有工作的技能。
即使没有出现模型能迅速创造出更聪明后代的“软件奇点”，我们仍可能看到一种广泛部署的“智能爆炸”。一个能够在线学习的AI，可能在没有新算法突破的情况下，功能上迅速成为一个超级智能。
机器专用经济： 目前的经济分析大多只考虑人类的需求。但如果AI自身产生需求，形成一个机器专用经济（machine-only economy），我们该如何建模？这会对未来的经济分析产生什么影响？
智能与权力的混淆
人们常常错误地将智能与权力划等号。有人曾问，如果智能是“在广泛领域内实现目标的能力”，那么特朗普、普京这样的人是否就是最智能的人？
显然，这些人极具能力，但我们想象中的“超级智能”并非如此。这个问题的核心在于，将智能等同于了权力。如果按此定义，斯大林或许是历史上最“智能”的人。
我们可以将智能重新定义为“理解和构建抽象概念的能力”。但值得注意的是，世界上最有权力的人在这方面并非顶尖。他们在某些认知能力上高于平均水平，但极端权力和这类智力之间的相关性可能比权力和身高的相关性还要弱。
我们倾向于将追求权力的AI和在科学技术上超群的AI混为一谈。
当前的AI发展路径（使其成为优秀的程序员、思想伙伴和同事）与获取权力的能力并非强相关。现实世界中的权力更多地源于获得大量人群的信任与协作，而非某种超凡的个人谋划能力。特朗普的权力并非来自他孤立的大脑，而是来自一个被数亿人认可的合法政府体系。
从集体层面看，高智商社会的合作、储蓄和协调能力更强，能够建造航天飞机和半导体。英国之所以能击败拿破仑、建立全球帝国，不是因为国王乔治三世是天才，而是因为整个国家拥有大量像蒸汽机先驱理查德·特里维西克那样的人才。同样，AI更可能通过帮助其所有者（公司或国家）在常规竞争中胜出，而不是通过某个单一AI的“智取”来获得权力。
AI在科学验证上的难题
有人认为AI将特别擅长科学突破，因为科学是“可验证的”，而AI在具有紧密验证循环的领域（如编程、数学）表现出色。
然而，科学史表明，理论的验证周期可能长达数十年甚至数百年，且实验结果往往不能完全排除其他可能性。
日心说的例子： 哥白尼的日心说模型在提出之初，其预测准确性不如托勒密的地心说，甚至为了符合其哲学理念而变得更复杂。直到开普勒和牛顿的后续工作，其优越性才得以显现。当时，人们无法预知哪个理论框架更有前景。
行星发现的对称案例： 天文学家根据牛顿力学成功预测并发现了海王星。但同样的方法在解释水星轨道异常时却失败了（预测存在一颗“祝融星”），这个问题最终由爱因斯坦的广义相对论解决。在广义相对论出现之前，坚持牛顿框架并不断寻找新行星或宇宙尘埃是完全合理的。
预先判断哪个研究项目是进步的（能预测新现象），哪个是倒退的（需要不断打补丁来解释新现象），几乎是不可能的。
这些例子说明，重大的科学概念突破难以被简单验证。它们往往在数十年后才被证明是富有成效的。这意味着：
- 你无法为重大的科学概念突破轻易地建立一个强化学习的验证循环。
- 科学的进步需要研究者（无论是人还是AI）拥有独特的偏见和直觉，并能为某个研究议程坚持数十年。
达尔文主义的同步发现带来的启示
达尔文的《物种起源》发表于1859年，比牛顿的《原理》晚了近两个世纪。然而，自然选择的概念似乎比万有引力简单得多。达尔文的同时代人赫胥黎读后感叹：“没想到这个道理，真是蠢到家了！”
为什么这个看似简单的想法如此晚才被阐明？
- 证据的非决定性： 达尔文的理论无法像牛顿的方程那样被决定性地测试。其证据是间接、回顾性和累积性的。
- 辅助知识的成熟： 达尔文的理论依赖于一些关键的“智力立足点”，尤其是查尔斯·赖尔的地质学所揭示的“深层时间”概念。
- 历史条件的配合： 达尔文和华莱士几乎同时提出进化论，并且都承认了地质学、古生物学、生物地理学以及人工选择（如育种）等辅助知识的重要性。
科学和技术领域的“同步发现”模式表明，重大创新并非凭空出现。一个在本质上可能早已被人类观察到的思想，其最终的明确阐述，需要数千年辅助性直觉和知识的积累。