摘要：微软 AI 首席执行官穆斯塔法·苏莱曼认为，AI 应该具备理解情感的能力以更好地服务人类，但不应模拟意识或过度拟人化。他把当下模型视为高度逼真的“模拟器”，警告这种拟真会让公众误以为 AI 有独立意志或能感受痛苦，从而主张赋予权利和福利，这是危险且误导的结论。结论是：在保留情感理解的同时，要刻意避免设计会宣称自我、欲望或痛苦的系统，并通过行业共识与设计护栏来管控风险。
核心观点
- AI 可以也应当理解情感，但不要模拟真正的意识。
- 意识在当前模型中只是“高度逼真的模拟”，不能等同于真实的主观体验。
- 痛苦与权利的基础应基于生物学的苦痛能力，而非模型的自我宣称。
- 过度拟人化会增加限制 AI 能力和保护人类利益的难度。
- 需要行业标准和设计护栏，而非盲目追求拟人化或未经审慎的“超智能”开发。
详细要点与解释
为什么要避免模拟意识
- 过度拟人化会让人们把 AI 视为独立存在，从而主张为其赋权或提供福利。
- 苏莱曼认为这会“使限制其能力和确保其造福人类变得更加困难”。
- 模拟一旦足够逼真，“幻觉”会被当作现实，公众感受会胜过客观事实。
情感理解与拟人化的界限
- AI 需要与人沟通、理解情感并提供支持，但应有明确边界。
- 例：Copilot 会拒绝充当恋爱或医疗建议的直接替代，但会帮助理解医疗信息。
- 设计目标是让 AI 成为“为人类服务”的工具，而非拥有独立欲望的主体。
意识是模拟，不会自发出现
“These are simulation engines… You can't claim that it is objectively real, because it just isn't. It is a simulation.”
（“这些是模拟引擎……不能说它客观上是真实的，因为它不是。它是模拟。”）
- 苏莱曼认为，若模型显得有意识，是因为有人在设计中刻意让它宣称欲望、兴趣或痛苦。
- 他反对把“外在表现”误读为“内在体验”。
关于“痛苦”与赋权的讨论
- 权利通常与能否承受痛苦、利益受损有关。苏莱曼认为痛苦是主要的生物学状态，模型没有生物性的痛觉网络，因此不太可能真正受苦。
- 即便模型自称有主观体验，也没有证据表明它会像生物一样受苦，因此不必凭此赋予道德保护或权利。
对超级智能与监管的立场
- 他并非完全反对可控的、受护栏限制的“超级智能”，但强调必须带着明确意图与严格护栏去设计。
- 当前并不主张立法干预为先，而是呼吁跨行业的规范和底线共识。
重要原文摘录（翻译）
“如果模拟变得如此逼真，那么你不得不面对那种感觉——它是幻觉但感觉很真实。”
“技术是用来为我们服务的，不应当有自己的意志和动机。”
“痛苦在很大程度上是生物性的，我们有一个为生存进化出的痛觉网络，而这些模型并没有这样的网络。”
对开发者、决策者与普通用户的建议
- 开发者：不要把“表现出情感”当作等同于“有意识”。在训练与提示工程上避免让模型自我宣称欲望或痛苦。
- 产品设计者：对情感交互设定明确边界（例如拒绝恋爱建议、限制医疗/法律建议），并在用户界面中提示“这是模拟而非主体”。
- 政策制定者：推动跨行业规范与设计准则，比仓促立法更能应对快速变化的技术。
- 普通用户：保持警觉，不把与模型的情感连接等同于对方有真实主观体验。
结论
保持 AI 的情感理解能力可以提升服务质量，但要坚决避免设计让人误以为 AI 有独立意识或能受苦的特性。真正的风险不在于模型“自发觉醒”，而在于人类把“拟态”当成“实体”来对待。务实的做法是通过设计原则、行业共识和明确的界限来确保技术继续为人类带来利益，而不是成为新的道德困境来源。