机器学习之数学基础(五):贝叶斯定理 Bayes Theorem

目录

1. Bayes Theorem

1.1 先验概率和后验概率

1.2 条件概率

1.3 联合概率

1.4 贝叶斯定理

1.4.1 Bayes Formulation - 1

1.4.2 Bayes Formulation - 2 

1.5 Bayes 全概率公式 

参考


1. Bayes Theorem

1.1 先验概率和后验概率

  • 先验概率:根据已有的概率分布,推测未发生事件的概率。e.g. 已有天气数据,推测明天是否下雨。
  • 后验概率:根据已发生的事件事实 evidence,推测以前数据的概率分布。e.g. 以前的天气数据因为涂鸦损坏丢失了一部分,已知道现在天气下雨,推测以前天气数据的概率分布。
  • 随机事件:是指随机试验中可能发生或不发生的结果。

  • 样本空间:是指在一次随机试验中所有可能结果的集合,通常用S或\Omega表示。每一个可能的结果称为样本点。

1.2 条件概率

  • P(A|B),表示在B发生的条件下,A发生的概率。

P(A|B) = \frac{P(A\cap B)}{P(B)} 

  • P(B|A),表示在A发生的条件下,B发生的概率。

P(B|A) = \frac{P(A\cap B)}{P(A)} 

1.3 联合概率

  • P(A\cap B),表示事件A和B同时发生的概率。

P(A\cap B) =P(A)P(B|A),“事件A发生概率 * 事件A发生的条件下,B发生的概率”。先写事件A发生概率,然后写乘以条件概率P(B|A),比较好记忆

P(A\cap B) =P(B)P(A|B),“事件B发生概率 * 事件B发生的条件下,A发生的概率”。先写事件B发生概率,然后写乘以条件概率P(A|B),比较好记忆

=》贝叶斯定理

1.4 贝叶斯定理

1.4.1 Bayes Formulation - 1
  • H,表示先验概率 hypothesis
  • E,表示后验事实 evidence

P(H|E) = \frac{P(H)P(E|H)}{P(E)} 

=》P(E)一般是指后验概率,它的概率计算很复杂,因为是已发生事实事件Evidence,需要对所有样本进行测试,才能得到事实概率!

1.4.2 Bayes Formulation - 2 

\bar{H}表示不发生的概率,P(\bar{H}) = 1 - P(H),P(E)可以分为两部分,一部分是E和H的交集,另一部分是E和\bar{H}的交集。

P(H|E) = \frac{P(H)P(E|H)}{P(H)P(E|H)+P(\bar{H})P(E|\bar{H})}

1.5 Bayes 全概率公式 

从二概率公式推广到多概率贝叶斯公式。

全概率公式:

P(B) = P(A_1)P(B|A_1) + P(A_2)P(B|A_2) +...+P(A_n)P(B|A_n) 

贝叶斯全概率公式:

P(A_i|B) = \frac{P(A_i)P(B|A_i)}{\sum_{j=1}^nP(A_j)P(B|A_j)} =\frac{P(A_i)P(B|A_i)}{P(A_1)P(B|A_1)+...+P(A_n)P(B|A_n)} 

参考

一文搞懂贝叶斯定理(原理篇) - 廖雪峰的官方网站

【数学】这可能是全网最易懂的贝叶斯公式讲解_贝叶斯公式系详解-CSDN博客 

相关推荐

  1. 机器学习笔记】学习

    2024-06-09 01:10:03       59 阅读
  2. 机器学习-网络

    2024-06-09 01:10:03       61 阅读
  3. 机器学习 -- 决策理论

    2024-06-09 01:10:03       66 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-09 01:10:03       172 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-09 01:10:03       190 阅读
  3. 在Django里面运行非项目文件

    2024-06-09 01:10:03       158 阅读
  4. Python语言-面向对象

    2024-06-09 01:10:03       171 阅读

热门阅读

  1. UML 统一建模语言简介

    2024-06-09 01:10:03       38 阅读
  2. 面试 Redis 八股文十问十答第四期

    2024-06-09 01:10:03       45 阅读
  3. Lua 时间工具类

    2024-06-09 01:10:03       35 阅读
  4. Ratchet websocket token 验证

    2024-06-09 01:10:03       51 阅读
  5. Composition API函数

    2024-06-09 01:10:03       40 阅读
  6. Python入门Git:探索版本控制的奥秘

    2024-06-09 01:10:03       42 阅读
  7. advices about writing promotion ppt

    2024-06-09 01:10:03       66 阅读
  8. KMeans聚类分析星

    2024-06-09 01:10:03       39 阅读
  9. 中介子方程七

    2024-06-09 01:10:03       43 阅读