本文介绍了一种新的主动学习数据整理流程，该流程通过迭代识别最有价值的标注示例，并利用专家标签进行微调，从而大幅减少微调大型语言模型（LLM）所需的训练数据量。实验证明，该方法能将训练数据从 100,000 个缩减至 500 个以下，同时将模型与人类专家的对齐度提高 65%，尤其对更大规模的模型效果显著。
挑战：昂贵的数据与不断变化的需求
在识别不安全广告内容等复杂任务中，大型语言模型（LLM）因其强大的上下文理解能力而备受青睐。然而，微调这些模型需要大量高质量的训练数据，其获取成本高昂。传统的、依赖海量数据的方法不仅昂贵，而且在面对不断变化的政策或新型违规内容时，往往需要完全重新训练模型。因此，减少所需的训练数据量至关重要。
新的整理流程：少即是多
我们开发了一种可扩展的主动学习整理流程，旨在从海量数据中精准筛选出最有价值的标注样本。
- 初始标记： 首先，使用一个未经微调的初始模型（LLM-0），根据任务描述（例如“这是一条诱导点击的广告吗？”）对大量数据进行初步分类。这个初始数据集通常极度不平衡，且模型的准确率较低。
- 识别混淆点： 接着，对模型标记为“违规”和“合规”的样本分别进行聚类。我们会发现某些聚类存在重叠，这表明模型在这些区域难以区分两类样本。
- 专家介入： 从这些重叠的、最易混淆的区域中，我们选取标签不同但特征最接近的样本对，并将其提交给 人类专家 进行高质量标注。
- 迭代微调： 专家提供的标签被分为两部分：一部分用于评估模型与专家的对齐度，另一部分用于微调当前模型，从而生成下一代模型。此过程不断重复，直到模型性能达到瓶颈或与专家内部的对齐度持平。
这种方法最终产出的数据集既信息丰富（因为它包含了决策边界上最易混淆的样本），又具有多样性（因为它来自决策边界的不同区域）。
衡量标准：在没有“标准答案”时如何评估
在广告安全等领域，许多分类问题（如内容审核或欺诈检测）本身就具有模糊性，即使是专家之间也可能存在分歧。因此，我们不能依赖需要“标准答案”的传统指标（如精确率和召回率）。
我们转而使用 科恩卡帕系数（Cohen's Kappa），这是一个衡量两位独立评分者之间一致性程度的指标，它排除了随机一致的可能性。
- 接近 1 的值表示高度一致。
- 0 表示一致性不比随机猜测高。
- 通常认为 0.4 以上可接受，0.8 以上则表现优异。
实验与结果：数据减少万倍，性能不降反升
我们用两个不同规模的 LLM（1.8B 和 3.25B 参数）在两个不同复杂度的任务上进行了实验。基准条件是使用约 100,000 个 众包标签进行微调。对比条件则是使用我们的整理流程，最终只用了不到 500 个 专家标签。
- 对于较小的模型（1.8B）： 使用新流程和传统方法训练出的模型性能相当。
- 对于较大的模型（3.25B）： 结果显示出显著的质量提升。使用新流程后，模型与专家的对齐度（Kappa 分数）提升了 55-65%。
这意味着，我们用少了三个数量级（近万倍）的数据，换来了更优的模型性能。在生产环境中，更大规模的模型甚至实现了 四个数量级 的数据缩减，同时保持或提升了质量。
结论：高质量标签是关键
实验结果表明，通过精心整理数据集，专注于少数但信息量更丰富的样本，可以用更少的数据获得更好或相当的分类器性能。
这种方法的成功依赖于极高质量的专家标签。我们的观察发现，标签质量（专家间的 Kappa 一致性）需要达到 0.8 以上，才能稳定地超越大规模众包数据。
这种能够仅用少量样本就重新训练模型的能力，对于应对广告安全等快速变化的领域尤为宝贵，它使我们能够摆脱数据瓶颈，更灵活、高效地利用高保真标签。