现代信号处理——参数估计理论（线性均方估计）
Bayes估计需要已知后验分布函数f(θ|x1，…，xN)，而最大似然估计则需要已知似然函数f(x1，…，xN|θ)。但是，在很多实际情况下，它们是未知的。另外，最大似然估计有时会导致非线性估计问题，不容易求解。因此，不需要先验知识、并且容易实现的线性估计方法就显得十分有吸引力。线性均方估计和最小二乘估计就是这样两类参数估计方法。
线性均方估计的规则，就是把估计量（θ）构造成观测量（x）的线性函数，同时要求估计量的均方误差最小。
线性估计
在线性均方(linear mean squares,LMS)估计中，待定的参数估计子被表示为观测数据的线性加权和，已知观测样本为xi(i=1,...，N)，则参数θ的估计值可以写为
估计量的均方误差为
线性均方估计通过选择最佳系数ai和b，使得估计量的均方误差最小。
均方误差分别对ai和b求偏导，并令结果等于0
整理可得：
正交性原理可用文字叙述如下：均方误差最小，当且仅当估计误差e正交于每一个给定的观测数据xi，其中i=1，…，N。
例：设观测模型为zi=s+vi（i=1，2，.…），其中随机参量s以等概率取{-2，-1，0，1，2）诸值，噪声干扰vi以等概率取{-1，0，1）诸值，且E[svi]=0，E[vivj]=，试根据一次、二次、三次观测数据求参量s的线性最小均方估计。
解：根据给定的条件可得
均值：E(s)=(-2-1＋0＋1＋2)/5=0
均方值：E(s^2)=[(-2)×(-2)+(-1)×(-1)+0×0+1×1+2×2]/5=2
方差：=E(s^2)=[(-2)×(-2)＋(-1)×(-1)＋0×0+1×1＋2×2]/5=2
随着样本数的增多，估计的均方误差逐渐减小最终达到一个稳定的值。
参考视频与文献：
https://www.bilibili.com/video/BV1wS4y1D7ng?p=4&vd_source=77c874a500ef21df351103560dada737
现代信号处理（第三版）张贤达（编著）