VaultGemma：最强大的差分隐私大模型

谷歌 DeepMind 发布了 VaultGemma，这是一个从头开始使用差分隐私 (DP) 技术训练的开源语言模型。这项研究建立了差分隐私语言模型的扩展定律，揭示了在模型训练中，计算资源、隐私保护和模型效用三者之间的权衡关系。研究发现，进行差分隐私训练时，采用更小的模型和更大的批处理规模是实现最优配置的关键。VaultGemma 在提供强大隐私保护的同时，其性能表现与五年前的非隐私模型相当，为未来私有 AI 的发展奠定了重要基础。

隐私 AI 的核心挑战

将 AI 融入生活的同时，保护用户隐私至关重要。差分隐私 (DP) 是一种强有力的数学方法，它通过在训练过程中添加经过校准的“噪声”来防止模型“记住”具体的训练数据。

然而，将 DP 应用于大型语言模型会带来一系列挑战和权衡：

• 降低训练稳定性： 增加的噪声可能会干扰模型的学习过程，导致性能波动或训练失败。
• 增加计算成本： 为了在加入噪声后仍能有效学习，模型通常需要使用极大的批处理规模（一次性处理更多数据），这会显著增加计算资源的需求。

理解这些权衡是开发实用性私有 AI 的关键。

揭示隐私训练的扩展定律

为了量化模型大小、批处理规模和迭代次数在差分隐私训练中的具体影响，研究人员进行了一系列全面的实验。

研究的核心基于一个简化假设：模型的学习效果主要取决于 “噪声-批次比率”，即为保护隐私而添加的随机噪声量与用于训练的数据批次大小之间的比例。

通过对不同模型尺寸和“噪声-批次比率”下的性能进行评估，研究团队建立了差分隐私的扩展定律。这套定律可以帮助回答类似这样的问题：“在给定的计算预算、隐私预算和数据预算下，如何配置训练参数才能实现最佳的模型性能？”

主要发现：更小的模型，更大的批次

这项研究为实践者提供了许多有价值的见解，其中最核心的发现是：

在进行差分隐私训练时，应当选择比常规训练小得多的模型，并配合大得多的批处理规模。

其他关键洞见包括：

• 预算的协同作用： 单独增加隐私预算（即减少噪声）的回报会递减。为了获得更好的效果，必须同时增加计算预算或数据预算。
• 配置的灵活性： 在最佳配置附近，通常存在一定的灵活性。这意味着一系列不同大小的模型，只要搭配合适的迭代次数和批处理规模，都能取得相似的性能。
• 权衡的重要性： 最佳的训练配置会随着隐私和数据预算的变化而改变。理解这些精确的权衡关系，对于在真实场景中有效利用计算和隐私资源至关重要。

应用定律：构建 VaultGemma

基于这些新发现的扩展定律，团队着手构建了 VaultGemma。

• 确定最优配置： 扩展定律被用来精确计算训练一个 10 亿参数模型所需的计算量，并指导如何在批处理规模、迭代次数和序列长度之间分配这些资源，以达到最佳效用。
• 算法进步： 团队解决了差分隐私训练中一个名为“泊松采样”的技术难题。通过采用最新的 Scalable DP-SGD 算法，他们能够在保持强大隐私保护的同时，使用固定大小的数据批次进行高效训练。

结果：性能与隐私的双重验证

VaultGemma 的最终训练结果高度验证了扩展定律的准确性，其最终的训练损失与理论预测惊人地接近。

• 性能对比： 在多个学术基准测试中，VaultGemma 的性能表现与大约五年前的同等规模非隐私模型（如 GPT-2）相当。这清晰地量化了当前为实现隐私保护所需付出的“性能代价”。
• 强大的隐私保证： VaultGemma 提供了序列级差分隐私保护。这意味着模型对任何单个训练序列（由 1024 个词元组成）的影响都受到了严格限制。
• 无数据记忆： 在实证测试中，当用训练文档的前缀提示模型时，VaultGemma 没有表现出任何可检测到的数据记忆行为，成功证明了差分隐私训练的有效性。

VaultGemma 的发布是构建兼具强大功能与内在隐私性 AI 的重要一步。虽然隐私模型与非隐私模型之间仍存在性能差距，但这项研究为社区提供了一张可靠的路线图，指明了如何系统性地缩小这一差距。