分享

贝叶斯思想:如何在不确定的世界中更新你的信念

 a_123 2024-02-14 发布于河北

兔年有感:

  1. 人生有限,梦想无限。但要有所为,得先学会有所不为。
  2. “心不死,则道不生”,放下内心枷锁,才能真正开启新的人生道路。
  3. 人之初,性本善。深入交流过的人,发现基本还是善良的人,哪怕看似冷漠,但背后却是最深刻的善良,铭记这些人。

祝大家龙年一飞冲天,好运连连!


引言

贝叶斯思想:如何在不确定的世界中更新你的信念

大部分人都遇到过这样的场景,将要出门时,看着外面多云的天空,犹豫今天出门是否要带伞。这时,你打开了手机上的天气预报应用,想要获取一些更具体的信息来帮助你做出决定。天气预报显示,今天有30%的概率会下雨。这个概率是基于历史数据、卫星图像等多种因素综合得出的。然而,这只是一个总体的概率,并不能完全确定今天是否会下雨。但是根据以往的经验和常识,你知道在多云的天气下,下雨的可能性比晴天要高;并且你所在地区通常报道10%概率下雨,大部分情况会下雨,那么你此时倾向于带伞出门,因为新的信息(天气预报)更新了你对今天会下雨的信念,使你认为下雨的可能性增加了。

在这个日常案例中,我们已经应用了“贝叶斯思想”,通过将先验信念(以往的经验和常识)与新的信息(天气预报)相结合,来更新我们对某个事件(今天会下雨)发生的概率的估计。这种更新过程帮助我们在面对不确定性时做出更加理性和明智的决策。

在不确定性充斥的现实世界中,无论是金融投资、医疗诊断还是产品设计,都需要面对不完全信息和不断变化的环境。贝叶斯方法提供了一种理性的框架,帮助我们在这些情境下做出最优决策。通过不断地更新我们的信念,我们能够减少盲目性,增加决策的胜率。

1.贝叶斯思想及其哲学含义

贝叶斯思想,源自18世纪英国数学家托马斯·贝叶斯(Thomas Bayes)的理论贡献,是一种基于概率论的方法论和哲学观,尤其以其对条件概率和证据更新信念的独特处理而闻名。

我们生活的世界,不确定性问题更多,就连今天中午是否能正常吃饭,今天中午吃什么,都有不确定性。在面对不确定性问题时,贝叶斯方法主张持续更新和修正我们的知识和信念。通过不断地获取新信息,并用这些信息来调整对未知事物的估计,这种方法允许我们在不确定环境中做出更优决策。

贝叶斯思想:如何在不确定的世界中更新你的信念

1.1 贝叶斯思想的核心内容理解

贝叶斯原理,简而言之,是一种根据新的证据来更新先前信念的方法。它基于条件概率的定义,通过已知的先验概率和新的观测数据,来计算出后验概率。这一过程中,我们不断地用新信息来调整我们对未知世界的认知,使得决策更加明智。

贝叶斯定理是其核心数学表达,它描述了在已知某个假设条件下观察到数据的概率如何影响我们对这个假设本身的置信程度。具体公式表示为:P(H∣D)=P(D∣H)⋅P(H)/P(D)

其中:

  • P(H∣D)是在给定数据D的情况下,假设H成立的后验概率(对假设H成立的相信程度)。换句话说,它表示了“考虑到我已经看到了这些数据,这个假设有多大的可能性是真的?”比如:假设H是“这个人是医生”,D是“这个人穿着白大褂”。那么P(H∣D)就是你在看到这个人穿着白大褂后,认为他是医生的概率。
  • P(D∣H)是似然函数,表示假设H为真的情况下,观察到数据D的概率。换句话说,它回答了“如果这个假设是真的,那么我看到这些数据的可能性有多大?”继续上面的例子,P(D∣H)就是在知道这个人是医生的情况下,他穿着白大褂的概率。
  • P(H)是先验概率,即在没有看到数据之前对假设H的相信程度。它反映了我们的背景知识或先前的经验。继续上面的例子,在没有看到这个人穿着任何特定衣服的情况下,你认为他是医生的概率。
  • P(D)是证据因子或标准化常数,确保后验概率是一个有效的概率分布(确保后验概率总和为1的因子)。在很多情况下,计算P(D)是非常困难的,因为它需要考虑所有可能导致数据D出现的情况。幸运的是,在比较不同假设的后验概率时,P(D)通常是相同的,因此可以忽略。

贝叶斯定理允许我们通过新的证据(数据D)来更新我们对某个假设(H)的相信程度。它从我们的初始信念(先验概率P(H))和新的证据(似然函数P(D∣H))出发,得出一个更新后的信念(后验概率P(H∣D))。这个过程反映了人类学习和推理的自然方式,即根据新的信息不断调整我们的观点。

贝叶斯思想:如何在不确定的世界中更新你的信念

1.2 贝叶斯思想哲学含义

  1. 适应性认知:贝叶斯思想鼓励人们随着新的证据出现不断调整自己的观点,这对应着一种动态、灵活的认知态度,强调了经验对于形成信念的重要性。
  2. 理性决策:在生活中,贝叶斯原则指导我们根据现有的最佳信息作出决策,而不是固守不变的观念或盲目的猜测。这有助于提高个人和社会在复杂环境中的决策质量。
  3. 开放思维:哲学上,贝叶斯主义体现了对知识的谦逊态度,承认所有的知识都是有条件且可修正的,倡导在面对未知时保持开放心态,随时准备根据新证据改变原有信念。
  4. 迭代学习:在教育和个人成长领域,贝叶斯方法提倡渐进式学习,意味着我们总是带着原有的理解去接触新知识,并通过实际反馈逐步优化和提升自己的认知模型。

总之,贝叶斯思想不仅仅是一种统计工具,它也是一种对待世界和认识过程的深刻哲学,帮助我们在信息不完全、充满不确定性的现实生活中,以更为科学和系统的方式理解和应对挑战。

2.贝叶斯定理案例介绍

案例1:疾病检测

情境
假设有一种罕见疾病,在人群中的发病率是1%(先验概率P(H))。现在有一种检测手段,对于真正患病的人,它有99%的准确性可以检测出阳性(似然函数P(D|H));但对于健康人,它也有1%的可能性会误报阳性。现在我们随机抽取一个人进行检测,结果呈阳性。

问题
这个人真正患病的概率是多少?

应用贝叶斯定理

  • P(H):人群中患病的概率,即1%
  • P(D|H):真正患病且检测呈阳性的概率,即99%
  • P(D):检测呈阳性的总概率,这需要计算,包括真正患病检测阳性的概率和健康但误报阳性的概率。

为了计算P(D),我们需要用到全概率公式:P(D) = P(D|H) * P(H) + P(D|¬H) * P(¬H)
其中,P(D|¬H)是健康但误报阳性的概率(1%),P(¬H)是健康的概率(99%),带入公式计算:

P(D) = P(D|H) * P(H) + P(D|¬H) * P(¬H)= 0.99 * 0.01 + 0.01 * 0.99= 0.0198(检测呈阳性的总概率)

计算后验概率P(H|D)
现在我们可以使用贝叶斯定理来计算这个人真正患病的概率P(H|D):
P(H|D) = (P(D|H) * P(H)) / P(D)= (0.99 * 0.01) / 0.0198≈ 50.25%

结论
尽管检测手段对于真正患病的人有很高的准确性,但由于疾病本身很罕见,一个阳性检测结果并不意味着这个人很大概率患病。实际上,通过计算我们会发现,这个人真正患病的概率远低于我们的直觉。

例子2:电池健康状态预测

情境
假设我们有一批电池,其中10%的电池是损坏的(先验概率P(H))。我们有一种测试方法,对于真正损坏的电池,它有95%的准确性可以检测出来(似然函数P(D|H));但对于健康的电池,它也有2%的可能性会误报为损坏。现在我们随机抽取一个电池进行测试,结果显示为损坏。

问题
这个电池真正损坏的概率是多少?

应用贝叶斯定理
与疾病检测案例类似,我们将使用相同的贝叶斯定理框架来计算后验概率P(H|D)。

  • P(H):电池损坏的先验概率,即10%
  • P(D|H):真正损坏且检测呈阳性的概率,即95%
  • P(¬H) :电池健康的先验概率,90%
  • P(D|¬H) :电池健康但误报为损坏的概率,2%
  • P(D):检测呈阳性的总概率,同样需要通过全概率公式来计算。

计算P(D)
同样使用全概率公式来计算检测呈阳性的总概率P(D):
P(D) = P(D|H) * P(H) + P(D|¬H) * P(¬H)= 0.95 * 0.1 + 0.02 * 0.9= 0.113(检测呈阳性的总概率)

计算后验概率P(H|D)
使用贝叶斯定理来计算这个电池真正损坏的概率P(H|D):
P(H|D) = (P(D|H) * P(H)) / P(D)= (0.95 * 0.1) / 0.113≈ 84.07%

结论

在这个案例中,尽管损坏的电池占比较小,但由于测试方法的准确性相对较高,一个阳性检测结果使得这个电池真正损坏的概率增加到了约84%。这表明在这种情况下,测试结果对后验概率的影响更大。

3.贝叶斯定理中哪部分获得最难

当我们拿到数学公式后,常会思考的一个问题是哪个部分最关键?哪个部分最难获得的?通常而言,定理中各个部分很关键,因为缺一不可,但是从最难获得角度来看,个人认为是先验概率P(H),因为它需要我们对某事件在没有任何新证据的情况下的发生概率有一个合理的估计。这在实践中往往很困难,特别是对于罕见事件或复杂系统而言,这里涉及主观判断以及对领域知识的深入理解。

以疾病检测为例,假设我们要检测一种罕见疾病。先验概率 ( P(H) ) 是这种疾病在人群中的发病率,这通常很难准确估计,特别是如果疾病很罕见或者数据不足的话。似然性 ( P(D|H) ) 是如果某人确实患有这种疾病,那么检测呈阳性的概率,这通常可以通过对已知患病者的测试来相对容易地获得。然而,如果没有可靠的先验概率,即使我们有一个高度准确的检测手段(高似然性),我们也很难准确计算出后验概率,即某人在检测呈阳性后真正患病的概率。因此,在贝叶斯推理中,确保先验概率的准确性和合理性是至关重要的,在企业中往往认为对应业务的最高决策者是先验概率P(H)的最佳判断者当然。当然,似然性的准确测量也是非常重要的,因为它反映了新证据与原有信念之间的关系。

贝叶斯原理以其独特的概率更新机制,在不确定性中为我们提供了增加胜率的路径。在人工智能普适化的浪潮中,贝叶斯方法的应用也将迎来新的变革和发展机遇,我们需要持续跟进AI技术发展下贝叶斯思想的应用变化。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多