机器学习专题记录
有偏估计和无偏估计
无偏估计和有偏估计的区别
无偏估计
无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。
有偏估计
有偏估计（biased estimate）是指由样本值求得的估计值与待估参数的真值之间有系统误差，其期望值不是待估参数的真值。在统计学中，估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。
moment matching
矩
数理统计7：矩法估计（MM）、极大似然估计（MLE），定时截尾实验
对于随机变量 X X X, 其 k k k阶原点矩和 k k k阶中心矩为
a k = E ( X k ) , m k = E [ X − E ( X ) ] k a_k=E(X^k), m_k=E[X-E(X)]^k ak=E(Xk),mk=E[X−E(X)]k
特别地，一阶原点矩就是随机变量的期望，二阶中心矩就是随机变量的方差。
现实生活中，我们不知道 X X X的客观分布，因而需要通过样本 ( X 1 , X 2 , X 3 , . . . . , X n ) (X_1,X_2,X_3,....,X_n) (X1,X2,X3,....,Xn)来估计总体矩。其样本 k k k阶原点矩和样本 k k k阶中心矩计算为
a n , k = 1 n ∑ j = 1 n E j ( X k ) , m n , k = 1 n ∑ j = 1 n ( X j − X ˉ ) k a_{n,k}=\frac{1}{n}\sum^n_{j=1} E_j(X^k), m_{n,k}=\frac{1}{n}\sum^n_{j=1} (X_j-\bar{X})^k an,k=n1j=1∑nEj(Xk),mn,k=n1j=1∑n(Xj−Xˉ)k
显然，它们都是统计量，因为给出样本之后它们都是可计算的。形式上，样本矩是对总体矩中元素的直接替换后求平均，因此总是比较容易计算的。容易验证， a n , k a_{n,k} an,k是 a k a_{k} ak的无偏估计，但 m n , k m_{n,k} mn,k则不是。
矩匹配
The method of moments can be very useful in obtaining approximations to the distributions of statistics. This technique is called moment matching.
Normal method of moments
假设数据 X 1 , . . . . , X n X_1,.... ,X_n X1,....,Xn服从正太分布 N ( θ , σ 2 ) N(\theta,\sigma^2) N(θ,σ2). 我们可以计算样本1阶矩和样本2阶矩
a n , 1 = X ˉ , a n , 2 = 1 n ∑ i = 1 n X i 2 a_{n,1}=\bar{X},a_{n,2}=\frac{1}{n}\sum^n_{i=1}X^2_i an,1=Xˉ,an,2=n1i=1∑nXi2
根据客观分布 N ( θ , σ 2 ) N(\theta,\sigma^2) N(θ,σ2), 1阶矩和2阶矩的计算公式为
a 1 = θ , a 2 = θ 2 + σ 2 a_1=\theta, a_2=\theta^2+\sigma^2 a1=θ,a2=θ2+σ2
我们将样本矩带入矩的计算公式，两个方程即可以解出两个未知数 θ , σ 2 \theta,\sigma^2 θ,σ2的估计值 θ ~ , σ ~ 2 \tilde{\theta},\tilde{\sigma}^2 θ~,σ~2
θ ~ = X ˉ , σ ~ 2 = 1 n ∑ i = 1 n ( X i − X ˉ ) 2 \tilde{\theta}=\bar{X}, \tilde{\sigma}^2=\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^2 θ~=Xˉ,σ~2=n1i=1∑n(Xi−Xˉ)2
在贝叶斯机器学习中，矩匹配(Moment Matching)是种基于KL-散度最小化的近似方法——期望传播( Expectation Propagation)的一种形式。