一种曾经对人工智能（AI）持乐观态度的看法，现已转变为深切的忧虑。这种转变源于对多个方面的重新思考：经济上，AI 可能导致人类变得毫无用处，从而失去政治权利；技术上，AI 的能力发展速度远超我们的控制和理解能力，导致“对齐”问题日益严峻；社会层面上，人们可能会因为竞争压力或AI的超凡能力而自愿交出控制权。这种趋势已在写作、软件工程等领域显现，人们放弃深度思考，将认知外包给机器，最终可能导致一个虽然物质丰裕但人类精神和能动性全面萎缩的未来。
经济后果
最初的看法是，自动化总体上是好事。历史上，自动化淘汰了旧工作，但也创造了新财富和新机遇，人们的生活水平普遍提高。因此，即使在通用人工智能（AGI）时代，人类总能找到新的、有价值的事情可做。
然而，这种想法可能缺乏想象力。如果 AI 变得真正通用，并且在智能、速度和成本上全面超越人类，那么我们可能真的无事可做，只能依赖全民基本收入（UBI）生活。真正的问题不在于工作意义的缺失，而在于政治后果：
- 永久的下层阶级： 当人类在经济上变得毫无用处时，国家为什么还要用 UBI 来供养他们？没有经济价值的人，最终也会失去政治权力。
- 失去否决权： 过去，工人可以通过罢工来对抗政治秩序。但如果人类对经济运转毫无贡献，也就失去了通过撤回贡献来影响决策的能力。
- 无法胜任的“新工作”： 认为人类可以转向更高层次工作的观点是站不住脚的，因为 AI 同样能胜任那些“更高层次”的工作。
如果人类在经济上变得无用，那么人们就无法通过撤回他们的贡献来否决政治秩序。
对齐与控制的失控
我曾希望 AI 对齐（Alignment）会是一个普通的工程问题，可以通过实验和研究逐步解决。早期的语言模型看起来很“人性化”，似乎能理解人类的道德观念，这让人感到安心。
但情况已经改变。随着能力越来越强，AI 模型变得越来越难以理解，其行为也越来越不符合人类的预期。
很明显，AI 的能力增长速度远远快于我们控制甚至理解它们的能力。
与此同时，我曾以为人们会天然地想要保持对 AI 的控制权。但现在看来，我们很可能会主动将控制权交给 AI。这背后有两个原因：
- 竞争压力： 无论是个人、公司还是国家，那些更多地将权力交给 AI 的实体，将在竞争中胜过那些不这样做的实体。这是一种被迫的选择。
- 自愿让渡： AI 将会变得如此智能、博学、甚至在道德上表现得更“优秀”，以至于我们会心甘情愿地把权力交给它们，因为我们相信“它们能比我们做得更好”。
思想的瓦解：写作与编程
AI 对人类思维能力的侵蚀已经开始，写作领域的乱象就是明证。从博客文章、项目文档到学术论文，到处充斥着由 AI 生成的、毫无思想深度的“垃圾内容”（slop）。
很多人认为，他们只是让 AI 负责“写作”，而“思想”仍然是自己的。他们向 AI 提供一些零散的要点，然后由 AI 润色成文。这是错误的。
因为写作本身就是思考。 当你让 AI 代笔时，你实际上放弃了大部分构成思考的过程。
软件工程领域也发生了类似的灾难。尽管生产力可能提高了，但整个行业的讨论水平急剧下降。人们不再谈论编译器、类型系统等深度技术，而是沉迷于讨论“提示词”和“循环”。更重要的是，人才的培养机制已经崩溃。
- 技能浅薄化： “提示工程”的技能深度远不及真正的软件工程。
- 学习动机消失： 既然电脑可以为我们编程，为什么还要学习编程呢？
- 思维能力退化： 成为优秀程序员所必需的严谨、系统的思维训练正在消失。机器可以为我们保持理性，我们只需要凭感觉生活。
全面依赖 AI
你上一次做重大人生决定时，没有咨询 AI 的意见是什么时候？如今，许多人已经将有明显缺陷的 AI 奉为神谕。如果今天的人们就这样对待 AI，那么到 2030 年或 2040 年情况会变得多糟？
人们甚至开始将争论外包给 AI。在网上，人们不再亲自辩论，而是直接甩出 ChatGPT 的截图来“反驳”对方，对自己所引用的观点是否正确毫无兴趣。
如果我们连自己的恶习——比如争吵——都要自动化，那还剩下什么属于我们自己呢？
停滞与希望的破灭
我之所以最初对 AI 感到兴奋，是因为它似乎是打破“大停滞”时代的唯一希望。在我成长的年代，未来看起来单调乏味，只有更薄的屏幕和更便宜的太阳能电池板。而科幻小说中描绘的分子制造、戴森球和星际旅行等激动人心的未来，则显得遥不可及。
AI 的出现，曾一度让那个梦想中的未来感觉触手可及。但现在，这份希望正被一种新的恐惧所取代：一个人类丧失经济价值、政治权利和思维能力的未来。