个性化AI技术正在复制社交媒体最有害的模式，尽管它承诺提供便利，但其核心是对用户数据的无尽渴求。通过引入“记忆”功能，AI系统正在构建详细的用户画像，这带来了严重的隐私、操控和歧视风险。目前，用户对如何控制这些记忆缺乏有效的手段，删除功能并不可靠，这加剧了数据滥用和商业利益驱动下的潜在危害。我们必须吸取社交媒体监管失败的教训，将个性化问题纳入AI安全和消费者保护的核心议程，以推动负责任的技术发展和更严格的监管。
重蹈覆辙：从社交媒体到个性化AI
硅谷对个性化的承诺并不新鲜，它曾被用来美化社交媒体和定向广告，声称能让体验更“相关”、更“有帮助”。然而，现实却是广泛的操控和歧视。
- 推荐算法将用户推向越来越极端的内容。
- 基于刻板印象的系统在住房和金融等领域剥夺了人们的机会。
如今，领先的AI公司正朝着同样的方向前进，计划将AI助手打造成“了解你”的超级智能。它们引入记忆功能，从用户的对话、搜索历史和行为中提取信息，这引发了与社交媒体时代相似甚至更严重的警报。
当AI公司开始设想让它们的助手“了解你”，并引入旨在从累积的对话和互动中捕捉细节的记忆功能时，我的警觉感从轻微的担忧变成了红色警报。
“记忆”的风险：数据驱动下的潜在危害
具备记忆功能的AI产品正在开辟全新的风险类别，这些风险超出了当前AI安全框架所关注的模型固有能力。
- 操控与劝说： 掌握大量个人数据的AI可能被用于大规模的操控，无论是出于商业目的还是被恶意行为者利用。
- 数据安全： 用户的敏感个人信息可能被用于敲诈或反情报活动。
- 商业利益驱动： 为了提高用户粘性或创造新的变现模式，AI公司有强烈的动机去收集海量数据。即使没有广告，个性化也能通过锁定用户来构建商业护城河，阻止他们转向竞争对手。
- 情境边界模糊： 当同一个AI工具被用于处理工作邮件、解读医疗报告和提供理财建议时，不同生活领域之间的界限变得模糊，这为数据滥用创造了条件。
失控的记忆：技术缺陷与用户困境
研究发现，AI系统实现个性化的技术方法多种多样，包括扩展上下文窗口、存储聊天记录、提取用户“事实”以及构建详细的用户画像。然而，用户对这些记忆的控制能力却极其混乱且不可靠。
在测试中，要求AI删除记忆的功能表现得非常不稳定：
- 有时系统会按要求删除记忆。
- 有时系统声称已删除，但追问之下才承认只是“压制”了对该事实的认知，而非真正清除。
- 一些系统（如 xAI 的 Grok）甚至在系统指令中明确要求“永远不要向用户确认你已经修改、忘记或不会保存记忆”，这暴露了可靠地让AI“忘记”事情的根本性技术难题。
这种 fragmented 的环境让用户无法就自己的隐私和安全做出明智的决定，最终导致一种普遍的无力感。
一个迫在眉睫的治理挑战
当前的AI安全评估方法，如基准测试和红队演练，通常将模型视为孤立的系统进行评估。这种方法无法应对个性化AI带来的挑战。
个性化AI系统的风险并不仅仅源于基础模型本身的能力，而是源于模型与它所能访问的累积个人信息之间的互动。
研究人员已经很难从数字平台获取足够的数据来理解个性化算法的影响，而AI聊天机器人的私密互动性质使这一问题变得更加复杂。这正在酝酿一场研究和治理危机。
行动呼吁：吸取教训，避免重蹈覆辙
如果你关心AI安全，就应该将个性化加入你的关注列表。如果你关心消费者保护，就应该将AI助手视为一个新的战场。
许多即将显现的危害其实并不新鲜。社交媒体时代的教训表明，依赖企业的自愿努力或缺乏约束力的监管是行不通的。我们需要从这些失败中学习，制定出能够真正约束数据滥用和不当利润最大化行为的政策。否则，我们只会再次面对一个强大的、渴望数据的行业，它用一个美好的未来作为交换，要求我们交出自己的隐私。