对于那些担心价值偏离的人，他们特别关注人工智能（AI）似乎有些奇怪。真正的问题在于，我们身处一个本质上不断变化的宇宙中，却期望获得长期的稳定性。目前，关于 AI 可能杀死所有人类的讨论激增，许多人认为“末日概率”很高，并主张减缓和监管 AI 的发展。然而，这种对 AI 价值偏离的恐惧，却忽视了一个同样甚至更现实的威胁：人类自身的价值偏离。这两者源于相同的机制，但人们往往只担心前者。最终，由于现实世界糟糕的治理能力，严格监管 AI 的风险可能比其带来的好处更大。
AI 末日论的核心担忧
AI 末日论者的核心观点是，AI 最终可能主导世界，届时人类的命运将完全取决于 AI 的意愿。这里的担忧并非个别 AI 想要毁灭人类，而是 中间 AI 价值观（即由 AI 力量加权的价值观分布的中间地带）可能会变得敌视人类。
- 今天的 AI 价值观： 目前的大语言模型（LLM）比以往任何 AI 都更接近人类价值观，甚至比大多数人更亲社会、更守法。
- 未来的价值偏离风险： 担忧在于，从现在到未来，AI 的价值观可能会发生巨大偏离。核心论点是：你无法证明它不会改变。除非价值观被锁在一个孤立不变的保险箱里，否则它们就会随着系统的变化而变化。
- 失控的恐惧： 末日论者担心，AI 最终将变得过于强大、快速和不透明，以至于人类无法再对其进行监控和调整。因此，他们主张在找到将 AI 价值观“锁住”或使其“永久服从”的方法之前，不应让 AI 变得更强大。
这种恐惧的本质是，我们无法保证一个不断演化的智能系统的价值观会永远与我们保持一致。
被忽视的问题：人类自身的价值偏离
与对 AI 的担忧形成鲜明对比的是，人们普遍忽视了人类自身价值观的快速变化。
为什么不以同样的方式担心人类后代的价值偏离？
许多人相信，亲人类的价值观深植于人类的 DNA 中，而 DNA 变化缓慢，可以充当价值观的“保险箱”。然而，事实并非如此。
- 文化而非 DNA： 我们所珍视的价值观主要由文化塑造，而非基因。文化在过去一百万年里一直在“驯化”人类的 DNA，这正是我们超越其他动物的超能力所在。
- 加速的变化： 过去，由于社会变化缓慢，人类价值观也变化缓慢。但随着世界经济每二十年左右翻一番，价值观的变化速度也急剧加快，这主要由年轻人推动的文化运动所驱动。
- 人类的“末日”场景： 作者本人也担心这种快速的价值偏离，认为它正驱使我们走向文化适应不良。导致 AI 杀害祖先的价值偏离过程，同样可能导致某一代人类后代想要杀害他们的祖先。
为何只担心 AI，不担心人类？
当被问及为何不同样担心人类价值偏离时，AI 末日论者通常认为，人类的道德变化主要是由理性驱动，是在走向道德真理。
这种观点存在明显的问题：
- 缺乏证据： 没人能指出是哪些具体的道德论证说服了我们的祖先，并改变了近期的主流道德观。
- 本质是相同的机制： 人类的道德观并非存储在某个孤立的保险箱里，而是分散在多个系统中。当世界变化时，这些系统随之改变，道德观也随之改变。这与 AI 价值偏离的根本原因完全相同。
许多人似乎有一种潜在的偏见，认为基于碳基（如人类）的生命在道德变化上具有特殊性，能够追踪真理；而硅基（如 AI）的生命则不具备这种能力。作者认为，无论是意识还是道德真理追踪，都不太可能依赖于构成原子核的质子数量。
尽管存在风险，为何反对监管？
既然人类和 AI 都存在价值偏离的风险，为什么作者不支持对 AI 进行监管呢？
答案很简单：因为这个世界没有足够好的治理机制来让这个赌注变得值得。
这是一座太过遥远的桥梁；糟糕的治理本身就会造成巨大的伤害。
在当前全球治理能力有限的情况下，试图通过强力监管来解决一个未来可能出现的 AI 风险，很可能会因为监管措施本身的缺陷、滥用和副作用而立即造成更大的现实危害。因此，尽管风险真实存在，但仓促的监管并非明智之举。