如果人工智能（AI）要像人类一样胜任完整的工作，它们就必须具备持续学习的能力，而不是在每次任务后都被重置。这种从“一次性训练”到“持续演进”的转变，将彻底颠覆现有的 AI 监管、安全对齐技术和市场格局。未来的监管需要从部署前的一次性审查转向定期的风险检查，而技术安全则面临着如何保证一个不断变化的系统始终向善的难题。同时，由于经济效益的原因，这种先进的 AI 技术可能会集中在大型组织手中。
为什么需要持续学习？
当前的人工智能模型在训练完成后，其核心能力就被“冻结”了。它们无法像人类一样从每一次的互动和经验中积累知识并真正地成长。
想象一下，如果学生学习萨克斯的方式是这样的：第一个学生从零开始吹奏，结束后写下一些笔记；第二个从未接触过萨克斯的学生阅读这些笔记，然后自己尝试；如此循环往复。即使有无数个初学者，他们也永远无法通过传递纸条的方式，让下一位学习者在第一次尝试时就达到熟练水平。
在某个时刻，你必须将经验积累到大脑中。
对于 AI 来说也是如此。要想掌握工作中需要的复杂技能和知识，它们必须能将经验内化为自身能力的一部分，而不是简单地依赖外部指令。
对 AI 监管的冲击
目前的 AI 监管思路大多基于一个前提：先训练一个模型，然后部署它。因此，只要在部署前进行严格的检查，就能确保其安全性。
但如果一个基础模型每天都根据数百万次的工作会话进行更新，这种模式就行不通了。
- 过时的审查模式：针对“训练完成”和“部署开始”之间那个特殊时刻的审查，在未来将失去意义，因为这个界限会变得模糊。
- 新监管思路：与其进行一次性的部署前审查，定期的风险检查（例如每月或每季度一次）会是更合理的做法。
在当前阶段锁定任何特定的监管安全机制都是不明智的。我们根本不知道一年后，更不用说五年或十年后，我们将面对什么样的技术。
技术对齐的全新挑战
几乎所有现行的 AI 安全对齐技术，都专注于如何确保一个 权重被固定的模型 在部署期间表现良好。
然而，持续学习带来了全新的、更复杂的问题，目前相关的研究还很少：
- 如何保证一个 权重不断更新 的 AI 系统，永远不会被“越狱”或演变成具有欺骗性、甚至邪恶的人格？
- 如果 AI 在不同用户之间汇总学习内容，如何防止恶意用户向基础模型中 注入后门或不良倾向？
这在某种意义上更接近于人类的对齐问题——就像教育孩子一样。你希望通过灌输给他们足够多的常识和基本价值观，让他们在接触外界新事物时能够自我引导、积极成长，而不是被奇怪的意识形态所影响。
AI 心智的多样性与经济集中化
持续学习将使得 AI “心智”变得更加多样化。但从经济角度看，这项技术将强烈偏向于大型组织。
原因在于 计算效率。一个 AI 模型在同时为成千上万个请求提供服务时，其运行效率是最高的。
- 大型组织：可以轻松地为其大量员工和代理人产生足够的并发流量，从而高效地运行一个 持续更新的专属模型分支。
- 个人用户：如果想独自运行一个个性化的、持续学习的模型，可能会面临超过 100 倍的计算效率损失，成本极高。
因此，提供个性化、持续更新的 AI 模型的经济模式，将使大型组织占据绝对优势。