Synth Daily

如果把先验放在数据之后再处理,而不是放在数据之前,会更好

在处理复杂的现实问题时,传统的贝叶斯推断方法——即先设定先验概率再结合数据——可能导致不合理的结论。这是因为单一、笼统的假设无法捕捉现实世界的全部可能性。更好的方法是,先观察数据,根据数据的特点来更精细地划分和构建我们的假设空间,然后再为其分配先验概率。通过这种方式,我们可以避免因假设过于粗糙而产生的推断错误,从而得出更接近真相的结论。

贝叶斯推断的基本原理

贝叶斯推断的核心思想是根据新证据更新我们对事物的既有信念。这个过程通常分两步:

  1. 设定先验 (Prior): 在看到任何新数据之前,你对不同可能性的信念程度。例如,你可能认为某博主 25% 的文章是好文章,75% 是烂文章。
  2. 结合数据更新信念: 当你开始阅读一篇文章并发现它“有点意思”时,这个“数据”会更新你的初始信念。如果好文章比烂文章更有可能写出这种水平的文字,你的计算结果可能会显示,这篇文章是好文章的概率从 25% 上升到了 33.3%。

理论上,先验一旦设定,就不应再根据后续看到的数据进行修改,否则就构成了“双重计算”。这种方法在教科书式的简单示例中运作良好。

现实世界的复杂性与悖论

然而,在处理现实世界的复杂问题时,严格遵守“先验不可更改”的原则常常会导致灾难。现实中的真相并非简单的“真”或“假”,而是拥有近乎无限种形态。我们往往在看到数据之前,无法预知应该关注哪种具体的可能性。

一个关于外星人的例子

让我们用一个例子来说明这个问题:地球上是否有外星人?

  • 初始模型 (模型一):
    • 先验: 我们假设“有外星人”和“没有外星人”的可能性各占 50%。
    • 数据: 我们观察到许多模糊的证据,如 UFO 视频、政府报告和飞行员目击事件。
    • 分析: 如果没有外星人,这些证据很难解释。但如果有外星人,为什么我们从未获得过一张清晰的照片或任何实体碎片?这同样难以解释。因此,我们可以假设,无论有没有外星人,出现这些模糊数据的可能性是差不多的。
    • 结论: 经过计算,最终的后验概率仍然是“有外星人”和“没有外星人”的可能性各占 50%。这个结论显然有些荒谬。

尽管我的初始假设和数学推导都没有问题,但最终的结论却显得非常不合理。问题出在哪里?

更精细的模型:观察数据后调整假设

问题在于,我们最初的分类(“有外星人” vs “没有外星人”)过于粗糙。在观察到“数据”的特点(即证据总是模糊不清)后,我们可以构建一个更精细的模型来划分世界的可能性。

  • 修正模型 (模型二): 我们将可能性划分为四个更具体的类别:
    1. 无外星人 + 正常人类: 没有外星人,人类也不会凭空捏造证据。
    2. 无外星人 + 爱幻想的人类: 没有外星人,但人类社会容易产生集体幻觉或误解,从而“制造”出模糊的证据。
    3. 高调的外星人: 有外星人,并且它们会留下清晰、无可争议的证据。
    4. 行踪诡异的外星人: 有外星人,但它们刻意保持神秘,只留下模糊、令人困惑的踪迹。

现在,我们根据这个新的分类重新分配先验概率,并结合数据进行分析:

  • 我们观察到的模糊数据与“无外星人 + 正常人类”和“高调的外星人”这两种情况完全不符
  • 数据与“无外星人 + 爱幻想的人类”以及“行踪诡异的外星人”这两种情况非常吻合

假设我们认为“爱幻想的人类”比“行踪诡异的外星人”可能性高得多(例如,前者的先验概率为 9%,后者为 1%)。结合数据后,我们得出的新结论是:

  • 大约 90% 的可能性是: 地球上没有外星人,我们看到的证据源于人类自身的行为或误解。
  • 大约 10% 的可能性是: 地球上存在行踪诡异的外星人。

这个结果显然比 50/50 的结论要合理得多。

真正的解决方案:先看数据,再构建假设

第一个模型的失败并非因为先验概率错了,而是因为它对世界的划分过于简化,导致在评估数据可能性时犯了错。它将所有“有外星人”的情况混为一谈,而没有区分“高调的外星人”和“诡异的外星人”,但这两种情况产生当前这种模糊数据的能力是天差地别的。

在实践中,可能为真的事物有无限多种。为这无限多的可能性预先设定先验概率和数据似然性是一项不可能完成的任务。

因此,更实用的方法是:

  1. 先观察数据: 首先查看我们拥有的实际证据,并理解其核心特征(例如,在“外星人”案例中,证据的特征是“持续的模糊性”)。
  2. 根据数据构建分类: 根据数据的特征,创建一组有意义的、更精细的假设类别。这些类别应该能让数据在每个类别内部的可能性保持相对稳定。
  3. 设定先验并推断: 在定义好这些更合理的类别后,再为它们分配先验概率,并进行最终的贝叶斯推断。

核心观点是,让数据来指导你如何划分假设空间。 如果不先看到那些模糊的飞行视频,我们根本不会想到要把“人类是否爱幻想”或“外星人是否喜欢隐藏”作为关键的分类标准。在看到数据之后再回头构建假设类别,并不是“作弊”,而是避免因模型过于粗糙而陷入逻辑陷阱的唯一务实途径。