最大似然估计、贝叶斯估计、最小二乘估计与贝叶斯学习的本质区别
最大似然估计和贝叶斯估计的区别在于最大似然估计认为参数是确定性的量，而贝叶斯估计认为参数是随机变量。之所以命名贝叶斯估计是因为用到了贝叶斯公式。根据贝叶斯公式，从先验概率密度转换到后验概率密度。
点估计的结果是一个具体的数值，而不是一个范围，它提供了关于总体参数的直接估计。这个估计值通常具有某种统计性质（如无偏性、最小方差等）。点估计的精确程度通常用置信区间来表示。置信区间给出了估计值的一个范围，表示有多大信心认为总体参数位于这个范围内。贝叶斯估计的结果是一个后验分布，表示参数在给定样本数据下的概率分布。
统计学中的贝叶斯参数估计是，计算估计值和真实值偏差的数学期望。最小均方估计实际上实际计算以后验概率为概率的参数的均值，而最大后验概率是后验概率的峰值对应的参数。这两者的区别在于前者找平均或者找最大。
线性最小均方估计和最小二乘估计的区别本质在于前者是期望风险最小化，后者是经验风险最小化。
概率密度估计中的贝叶斯学习，其目的是从有限样本估计总体分布。与贝叶斯参数估计是不同的概念。之所以命名贝叶斯还是因为用到了贝叶斯公式，首先需要计算后验概率密度。然后以后验概率密度作为概率密度，计算未知参数的概率密度函数的数学期望，作为总体估计。这与最小均方估计异曲同工。如果增加样本数量可以使后验概率序列逐渐尖锐，那这就和最大后验概率的思想异曲同工了。