当前位置：首页 > news >正文

恶补，先验分布，后验分布，似然估计

news 来源：原创 2024/9/21 20:48:15

恶补，打一遍增加印象

先验分布
后验分布，
似然估计

声明：仅记录个人学习，并无其他用途。

先验分布

后验分布，

似然估计

隔壁小哥的故事：

隔壁小哥要去15公里外的一个公园里玩，小哥可以选择步行走路、骑车或者开汽车，然后通过其中一种方式花了一段时间到达公园。
在这个例子种呢，无论采用哪种交通方式，这是因！而花了多长的时间，这是果！

假设我们知道小哥花了一小时到达公园，那我们能知道他是通过哪种方式过去的吗？事实上，我们并不能很确定小哥的交通方式。可能是骑车呢？或者开车过去却堵车呢？假设我们知道小哥花了三个小时才到达了公园，那这个时候呢，我们大部分人觉得很可能是走路过去的。
假设小哥只花了20分钟呢，那我们又会觉得是开法拉利过去的。
这几种不同的情况呢，就是我们已经事先得知了结果（花了多少时间），然后我们根据这个结果（时间）去猜测原因（交通方式）的概率分布。
这就是后验概率

将该例子公式化：
$P (交通方式 ∣ 花费的时间)$
修改成一般的公式：
$P (因 ∣ 果)$
公式正规化：
$P(\theta|x)$

假设你对这个小哥的为人了解，他可能是很懒的人，就坐车去，可能是个爱跑步的人，就跑去，会导致时间的花费不同。在这个情景下呢，交通工具的选择与花费时间不再相关，因为我们在结果发生前就开始猜测。这就是先验概率。

将该例子公式化：
$P (交通方式)$
修改成一般的公式：
$P (因)$
公式正规化：
$P(\theta)$

假设了小哥是步行去的，
在一般情况下，小哥大概需要2小时
特殊情况，小哥是飞毛腿，跑步去花了1小时。
更特殊的，小哥开挂，1秒钟就到。
再来个情景，小哥开车去咯，正常20分钟，但小概率小哥遇到了堵车，开了几小时。
这种，我们是先确定了原因，然后根据原因来估计结果的概率分布即似然估计。

将该例子公式化：
$P (时间 ∣ 交通方式)$
修改成一般的公式：
$P (果 ∣ 因)$
公式正规化：
$P(x|\theta)$

引入贝叶斯公式：

公式如下：
$P(A|B)=\frac{P(B|A)*P(A)}{P(B)}$
按照下方图片即可轻松理解贝叶斯公式。

在这里我们采用另一种形式：
$P(\theta|x)=\frac{P(x|\theta)*P(\theta)}{P(x)}$
解释一下，怕自己搞混乱了。
在这里，P(x) 就是已经发生的那个结果。
而 $p(\theta)$ 就是导致发生这个结果的原因，是其中一个可能原因，
所以这是先验概率
所以呢，$P(x|\theta)￥就是用原因去猜结果，所以代表似然估计。

$后验概率=\frac{似然估计*先验概率}{evidence}$
[注意] P(x) 即 evidence。小哥去公园很多次，但忽略了交通公式是什么，只统计每次到达公园的时间x，于是会得到一组时间的概率分布（结果）。
这种不考虑原因，只看结果的概率分布即evidence，也称为样本发生的概率分布的证据。