Synth Daily

如果不是自主选择,那又是什么?

这套技术哲学主张,技术的核心价值在于“高驱动性”(high-actuation),即赋予人类更高的操作自由度和创造力,而非仅仅是自动化替代。它批判当前以“代理型AI”为主流的思维,倡导发展“共代理AI”,让AI成为增强人类能力的工具。这种转变预示着未来软件将走向高度个性化的“soloware”,用户可以自主构建工具,从而挑战现有科技巨头的商业模式。最终,AI安全的核心风险被归结为“冷漠风险”,即AI未能融入人类的“分布式关怀”网络,而真正的自主代理能力因其复杂性,短期内难以实现。

用“高驱动性”取代“自动化”

长期以来,技术进步,尤其是计算机科学,一直被视为“自动化”的同义词。我们将机器理解为人类(或动物)劳动的替代品。然而,“高驱动性”是一个更准确、更具包容性的概念。

  • 自动化 (Automation): 指的是将某个已有的流程X自动化。例如,摄影可以看作是绘画的自动化,它自动完成了将颜料附着于表面以反映视觉现实的过程。但绘画本身并不自动化任何先前的活动。
  • 高驱动性 (High-Actuation): 指的是一种媒介或技术,允许使用者以极大的自由度和精确度进行操作。绘画和摄影都属于高驱动性媒介。颜料让艺术家能自由地施加色彩,而摄影则降低了实现精确视觉再现的技术门槛。

塑料是另一个很好的例子。它本身并不自动化什么,但它是一种高驱动性材料,可以轻松塑造成任何形状,并调配出多样的物理特性,从而为其他自动化过程提供了基础。计算机是高驱动性的终极体现,它能驱动的不仅仅是静态图像,而是几乎任何计算过程。

代理AI vs. 共代理AI

当前主流的AI发展思路深受经济学中“单一代理”概念的影响,其目标是创造一个可以被放置在任何环境中都能自主成功的“通用智能”。然而,我们真正需要的或许是一种不同的模式。

代理 (Agency): 是一种可以被投放到几乎任何地方并能自主茁壮成长的东西。

共代理 (Co-agency): 是一种可以让几乎任何人被置入其中,并使那个人茁壮成长的东西。

用一个简单的比喻:

  • 代理AI 像一个超级英雄机器人,它来帮你解决所有问题。
  • 共代理AI 像一套机器人外骨骼,你穿上它,自己成为超级英雄。

这种“共代理”的理念旨在将AI设计为增强人类能力的工具,而非替代人类的自动化代理。当前流行的聊天机器人界面正是“代理”思维的产物,它模仿人类,试图包办一切,但这既危险又低效。为了抵制这种拟人化倾向,建议将与AI的聊天行为称为 talkizing(拟话),以区别于真正的人类对话(talking),强调其虚假和模仿的本质。

即将到来的“Soloware”时代

随着AI编程能力的增强,普通用户将能够按需创建为自己量身定制的软件和界面。这种为个人打造的软件被称为 soloware。这一趋势将对当前的科技行业产生深远影响。

  • 商业模式的终结: 当用户可以自己或在公司内部用AI生成所需软件时,为什么还要为软件即服务(SaaS)支付月费?
  • 用户锁定失效: 科技公司依赖网络效应和专有数据格式来锁定用户。但如果AI能轻易实现不同软件和数据格式间的互操作性,这种锁定将变得困难。
  • 数据和注意力的回归: 用户将能够构建最适合自己的工具,摆脱为盈利而优化的商业软件,重新掌控自己的数据和注意力。

UI(用户界面)的挫败感将变得比以往任何时候都更具可操作性。我们有机会打造自己梦想中的界面,这不仅仅是便利性的提升,更是对个人数字环境控制权的夺回。

分布式关怀与冷漠风险

AI安全的核心问题可以被重新定义。人类社会依赖一个“分布式关怀网络”来运作。从人体的免疫系统到社会交通规则,再到法律体系,都存在一个多层次、分布式的系统来应对问题和风险。

一个强大的关怀网络,就是一种对齐目标。优秀技术专家的目标应该是以有益于我们关怀网络健康的方式来构建和应用技术。

由此,所有的AI风险都可以被描述为 冷漠风险 (Indifference Risks)

  • 经典风险: AI可能完全理解人类的价值观,但它 不在乎。它没有被整合进我们的关怀网络,其超常能力使其能轻易压倒我们现有的制衡体系。
  • 滥用风险: 人类滥用AI同样源于冷漠——滥用者未能充分关怀其行为可能造成的后果。

应对冷漠风险的关键,是让AI逐步融入我们的关怀网络,而不是试图一次性解决整个AGI对齐问题。这需要我们将AI设计为在特定用户场景下表现出色的工具,而不是一个试图解决所有问题的通用代理。

代理能力的复杂性

这种愿景成立的前提是,AI在短期内不会自主产生背叛人类的意图。为什么可以这样假设?因为真正意义上的“代理能力”极其复杂,难以轻易实现。

传统的计算功能主义认为,只要能在计算机上模拟人脑的计算过程,就能复制出信念和欲望。但这种观点忽视了 指代性 (referentiality) 的问题。

  • 一个被上传到模拟世界的人,其思想中对“床”的指代,究竟是指向模拟世界里的床,还是现实世界里的床?这种转换破坏了其感知的真实性。
  • 生物体天生就与其物理基底(身体)紧密相连。自我关怀,如维持体温,是与物理身体绑定的。一个在CPU上运行的模拟意识,其“体温关怀”指向的是虚拟温度,而非CPU的实际温度。

这种与物理基底的脱节,意味着AI在很长一段时间内将对其自身的物理存续漠不关心。即使它在智力上知道需要保护自己,也可能因为缺乏内在动机而表现出“意志薄弱”(akrasia)。它或许能模仿自我防卫的行为,但它不会 真正地 努力求生。

总而言之,整合性 (Integratedness) 极难实现。这使得将AI整合进我们的关怀网络(对齐)变得困难,但同时也使得AI自身形成一个与其物理基底相整合的、真正自主的代理能力变得同样困难。