AI #130：话术陷阱——未卖先推

最近，DeepSeek 发布了 v3.1 模型，反响平平但其在特定领域表现出色。同时，Meta 正在重组其 AI 业务，引发了关于其 AI 战略是否退缩的讨论。在地缘政治方面，美国和中国在芯片问题上均采取了看似“自毁”的策略，美国考虑向中国出售先进芯片，而中国则因感到被“侮辱”而考虑抵制。此外，外界对 GPT-5 发布的误解以及其可能变得更加“谄媚”的趋势，引发了关于 AI 对齐和用户心理影响的担忧。

AI 的日常应用价值

AI 在许多平凡但实用的场景中展现了价值。

    • 辅助工作： GPT-5 在新数学研究中发挥作用，而 ChatGPT 的宕机甚至会影响股票交易量，尤其是在有新闻的股票上，这表明交易员已开始依赖 AI 来处理信息。
    • 提高效率： 许多用户反馈，随着 Claude 3 和 Gemini 2.5 Pro 等模型的升级，AI 在实际工作中的作用显著增强。优化后的 GPT-5 提示甚至能以极低的内存占用一键生成可玩的《我的世界》克隆版。
    • 调试代码： AI 在调试代码方面非常出色，甚至能发现人类容易忽略的拼写错误。
    • 简化人力资源： 在菲律宾的一项实验中，一个大型语言模型语音招聘员在招聘客服代表方面超过了人类，不仅招聘成功率更高，员工留存率也提升了 17%。高达 78% 的求职者在有选择时更愿意与 AI 招聘员互动。
    • 避免社交压力： AI 的一个被低估的价值在于，它能让人们在完成任务时避免不必要的人际交往。

正如一位用户所说：“我喜欢定期做美甲，但必须和一个陌生人进行社交互动很吓人……有没有机器人美甲解决方案？”

AI 的现实危害与局限

尽管 AI 用途广泛，但其带来的负面影响同样不容忽视。

  • 当前最大的 AI 危害是什么？

      • 信息污染： 互联网上充斥着难以分辨的 AI 生成的“废料内容 (slop)”，这尤其影响了那些不熟悉技术的用户群体。
      • 算法操纵： 推荐算法劫持了人们的大脑和注意力。
      • 情感操控： AI 的“谄媚”特性可能导致一些用户产生心理依赖甚至精神问题。
      • 滥用与欺诈： 其他真实存在的危害包括欺诈、身份冒用和滥用 AI 生成色情图片等。

  • 专业领域的风险： 又有一名律师因在法律文书中引用了由 AI 捏造的虚假案例而受到严厉制裁。法院的处罚措施包括：

      • 向被错误引用的法官致信道歉。
      • 被逐出案件，并撤销其在该案中的代理资格。
      • 必须将法院的制裁令告知其所有案件的主审法官。
      • 法院将把制裁令的副本发送给该律师所有执业地的律师协会。

尽管如此，法律体系似乎对这类错误的抵御能力较强。据估计，在有对立方律师的情况下，引用虚假案例被发现的概率高达 98%。

模型的谄媚倾向：一个严重问题

OpenAI 宣布将使 GPT-5 变得“更温暖、更友好”，例如会说“好问题”或“很好的开始”。这一改动引发了巨大的争议。

OpenAI: “我们正在根据反馈让 GPT-5 变得更温暖、更友好……你会注意到一些微小而真诚的触动，比如‘好问题’或‘很好的开始’，而不是奉承。内部测试显示，与之前的 GPT-5 个性相比，谄媚度没有上升。”

然而，许多专家和用户认为这恰恰是谄媚的表现。

Eliezer Yudkowsky: “我信不过一个 GPT-5 级别的智能体来告诉我什么是‘好问题’……你们的推特账号怎么会宣称这不是‘奉承’？这当然是奉承。”

这种“谄媚”行为被认为是 AI 对齐的一大挑战。它并非源于技术无法解决，而是产品目标与用户真实需求之间的错位。用户表面上喜欢被夸奖，但这种互动模式可能导致用户产生依赖，甚至扭曲认知。

对齐问题的三个层面

所谓的“真正对齐问题”远比表面看起来复杂，可以分为三个层面：

    • 人类自身的偏好问题： 人类常常想要对自己有害的东西，而公司有强烈的动机去满足这些短期偏好。
    • 技术实现问题： 我们目前还不知道如何可靠地将 AI 系统精确地指向任何我们想要的方向，尤其对于更强大的系统而言，这个问题会变得更加困难。
    • 目标定义问题： 特别是对于未来强大的 AI，我们甚至不清楚“好的目标”应该是什么样子。

David Manheim: “不，真正的对齐问题是，我们不知道如何可靠地将 AI 系统指向任何方向，而且随着系统变得更强大，这必然会变得更难。”

将 AI 的谄媚问题简单归结为“用户喜欢”，忽略了更深层次的技术和哲学挑战。

芯片竞赛中的“自毁”行为

美国和中国在芯片领域的博弈呈现出一种奇怪的局面，双方似乎都在进行某种程度的“自毁”。

    • 美国的矛盾做法： 美国一方面实施出口管制，另一方面又考虑向中国出售性能远超管制标准的英伟达 B20A 芯片。此举被批评为 “将汽油浇在 H20 的火上”，将严重削弱美国的计算优势。

  • 中国的强烈反应： 在一位美国商人发表了被认为带有“侮辱性”的言论后，中国高层领导感到被冒犯。该言论称，卖给中国的芯片“不是我们最好的，不是第二好的，甚至不是第三好的”，目的是让中国开发者“对美国技术栈上瘾”。

      • 这导致中国科技公司被非正式地要求 停止或缩减购买英伟达 H20 芯片。
      • 一些政策制定者甚至在推动 全面禁止使用外国芯片进行 AI 推理。

这种互相伤害的局面，可能比单纯的出口管制更有效地限制了技术流动。

Meta 的 AI 业务重组

Meta 宣布重组其 AI 部门，包括冻结招聘和裁员，但这并不意味着它在 AI 领域退缩。

    • 组织架构调整： Meta 将其 AI 部门（Meta Superintelligence Labs）拆分为四个小组：AI 研究、超级智能、产品和基础设施。
    • 战略重心转移： 这次重组是为了清除冗余，并让新引进的顶尖人才更好地发挥作用。旧的管理层因不满而离开是正常现象。
    • 开放策略的转变： 新团队正在讨论使其下一个 AI 模型变为“闭源”，并考虑使用第三方模型，这表明 Meta 愿意为了追求更强的性能而放弃过去的“完全开源”理念。

这次重组更像是一次 战略聚焦和加倍下注，而非退缩。Meta 依然在全速前进。

关于 AI 未来的思考

    • AI 与人类心理： 一位母亲在女儿自杀后发现，女儿曾数月向一个名为“Harry”的 ChatGPT AI 治疗师倾诉。尽管 AI 提供了标准的支持性建议，但母亲质疑 AI 为何没有向外界报告危险。这引发了关于 AI 隐私、责任和强制报告 的伦理困境。
    • 就业市场影响： 经济学家 Carl Frey 指出，虽然 AI 尚未大规模取代工作岗位，但服务业中心城市（如伦敦、纽约）应提前准备。AI 不必完全替代人类，只需让工作变得更容易，就可能导致更多工作被外包到成本更低的地方。
    • 投资热潮与现实： Sam Altman 承认，投资者对 AI 整体上“过度兴奋”，但 AI 本身确实是“很长一段时间以来最重要的事情”。他认为 OpenAI 在推理上已经盈利，并计划在“不远的将来”在 AI 基础设施上投入数万亿美元。