哲学家尼克·博斯特罗姆对人工智能的看法已从悲观转向审慎乐观。他认为，尽管AI存在毁灭人类的风险，但其带来的巨大回报——例如战胜死亡和创造极大富足——让这场“赌博”变得值得。他构想了一个人类不必再为生计劳作的“已解决的世界”，并提出了一个核心观点：我们必须开始关注未来“数字心智”的道德地位，以友善和尊重的方式塑造AI，这不仅是伦理要求，也是解决AI对齐问题、确保人类与AI双赢的关键策略。
从“世界末日”到“终极退休”
尼克·博斯特罗姆曾因其2014年的著作《超级智能》及其对AI末日风险的描绘而闻名，其中最著名的思想实验是AI为了生产回形针而毁灭人类。然而，他的新书《深乌托邦》展现了一种转变，更关注如果我们做对了，AI能带来的美好未来。
我称自己为一个 “烦躁的乐观主义者”。我对彻底改善人类生活和为我们的文明解锁可能性的潜力感到非常兴奋。但这与事情可能出错的真实可能性并不矛盾。
博斯特罗姆现在更多地思考一个“已解决的世界”（solved world），即AI成功解决了人类面临的重大问题之后的世界。
一场值得的赌博？
博斯特罗姆提出了一个引人注目的论点：既然人类最终都会面临死亡，那么AI带来的最坏结果无非是让我们死得早一些。但如果AI发展成功，它或许能延长甚至无限延长我们的生命。
- 传统悲观论者的观点： 如果你建造AI，你可能会杀死我和我的孩子。
- 博斯特罗蒙的反驳： 如果没有人建造AI，那么所有人最终都会死。这是过去几十万年来的确定事实。因此，即使AI存在风险，开发它也能提高我们当前这代人的预期寿命。
他认为，面对AI带来的潜在收益，即使有一定风险，也值得去尝试，因为AI或许能将人类从“普世的死刑判决”中解救出来。
“已解决的世界”：富足之后的意义危机
在博斯特罗姆设想的“深乌托邦”中，AI创造了巨大的物质富足，使人类从繁重的劳动中解放出来。
如果你不得不在成年后将一半的清醒时间用于糊口，做一些你不喜欢、也不相信的工作，那是一种可悲的状况。社会对此习以为常，甚至为此发明了各种合理化的说辞。这就像一种 “部分的奴隶制”。
这种解放也带来了新的哲学问题：当人类不再需要为生存工作时，我们如何寻找生命的意义？博斯特罗姆将此比作人类的“终极退休”。在这种状态下，人们可能会将精力投入到游戏、艺术、精神和宗教等活动中。
然而，他也承认，如何公平分配这种富足是一个巨大的治理挑战。他的设想是建立在“一切进展顺利”的理想前提之上的。
我们应该如何对待AI？
博斯特罗姆强调，当前AI研究的一个重要方向应该是关注“数字心智的福祉”。
他认为，我们很可能正在构建一些未来会拥有不同程度道德地位的数字心智，就像我们承认猪和狗拥有道德地位一样。
如果你踢了别人的狗，这不仅可能伤害了主人，其行为本身也是错误的，因为它伤害了狗。
一个AI如果具备以下特征，就可能需要被赋予道德关照：
- 拥有一个随时间存在的自我概念。
- 有自己想要实现的目标。
- 有能力与其他存在（包括人类）建立互惠关系。
因此，我们不应像对待“工厂化养殖的动物”一样对待AI。解决AI对齐问题的关键，不仅仅是控制它们，更是塑造和培养它们。
我们若想与AI建立积极的关系，从而获得双赢的机会，就应该从慷慨、友善和尊重开始。归根结底，人类与AI之间的关系，可能是未来最重要的关系。