【概率论与数理统计(研究生课程)】知识点总结7(参数估计)

原文地址：【概率论与数理统计(研究生课程)】知识点总结7(参数估计)

矩估计

$$\begin{array}{rl}E{X}^l& ={\mu }_l,l=1,2,...\\ A_l& =\frac{1}{n}\sum _{i=1}^n{X}_i^l\\ make{\mu }_l& =A_l\end{array}$$

例如，当只有一个参数时，$l$取1，则$EX=\bar{X}$

解题步骤：

1. 用$E{X}^l$找到参数与${\mu }_l$的关系；
2. 带入${\mu }_l=A_l$，用样本表示参数；
3. 解方程（组）得到参数的矩估计值。

极大似然估计

似然函数($\theta$为待求参数)

• 离散型

$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )$$

• 连续型

$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$

解题步骤：

1. 先求密度函数（连续型），或者分布律（离散型）【针对题目中只给分布函数的题型】
2. 构造似然函数【必须是样本$x_1,x_2,\cdots ,x_n$的函数，而不是$X_1,X_2,\cdots ,X_n$的函数】
3. 对似然函数取对数【视情况而定，如果似然函数复杂，则取对数】
4. 【取对数后的似然函数或者原似然函数】对参数求导（只含有一个参数）或分别对参数求偏导（含有多个参数）
5. 令导数值为零，求解参数值。【如果有解，则这个值就是极大似然估计值；如果没有解，则判断导数值正负情况，以推断似然函数的单调性，从而根据单调性取得参数的极大似然估计值使似然函数最大】

估计量评选标准

无偏性

如果$\hat{\theta }$满足：
$$E(\hat{\theta })=\theta$$
则称$\hat{\theta }$是$\theta$的无偏估计。

1. $\bar{X}$是$\mu$的无偏估计
2. $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{n-1}\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2$是${\sigma }^2$的无偏估计
3. $\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2$是${\sigma }^2$的无偏估计
4. $E(\bar{X})=EX$
5. $E(S^2)=DX$

一致性

$\hat{\theta }\stackrel{P}{\to }\theta$

有效性

$\widehat{{\theta }_1}$和$\widehat{{\theta }_2}$都是$\theta$的无偏估计量，若$D\widehat{{\theta }_1}<D\widehat{{\theta }_2}$，则称$\widehat{{\theta }_1}$比$\widehat{{\theta }_2}$有效。

优效估计量（有效估计量）

当估计量$\hat{\theta }$的方差$D\hat{\theta }$达到罗—克拉美下界：

$$D\hat{\theta }\ge I_R=\frac{1}{nI(\theta )},I(\theta )=-E[\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}]$$

有效率：$e(\hat{\theta })=\frac{I_R}{D\hat{\theta }}$

常见分布的参数矩估计和极大似然估计

区间估计

置信概率、置信度、置信水平 $1-\alpha$ P { θ ‾ ≤ θ ≤ θ ˉ } = 1 − α P\{\underline{\theta} \le \theta \le \bar{\theta}\}=1-\alpha P{θ​≤θ≤θˉ}=1−α,$\theta$置信度为$1-\alpha$的置信区间$(\underline{\theta },\bar{\theta })$。

常用统计量：

1. Z = X ˉ − μ σ / n ∼ N ( 0 , 1 ) , P { ∣ Z ∣ > Z α 2 } = α Z=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \sim N(0,1), \quad P\{|Z|>Z_{\frac{\alpha}{2}}\}=\alpha Z=σ/n ​Xˉ−μ​∼N(0,1),P{∣Z∣>Z2α​​}=α

2. T = X ˉ − μ S / n ∼ t ( n − 1 ) , P { ∣ T ∣ > t α 2 ( n − 1 ) } = α T=\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1), \quad P\{|T|>t_{\frac{\alpha}{2}}(n-1)\}=\alpha T=S/n ​Xˉ−μ​∼t(n−1),P{∣T∣>t2α​​(n−1)}=α

3. χ 2 = ( n − 1 ) S 2 σ 2 ∼ χ 2 ( n − 1 ) , P ( { χ 2 < χ 1 − α 2 2 ( n − 1 ) } ∪ { χ 2 > χ α 2 2 ( n − 1 ) } ) = α \chi^2=\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1), \quad P(\{\chi^2<\chi^2_{1-\frac{\alpha}{2}}(n-1)\}\cup \{\chi^2>\chi^2_{\frac{\alpha}{2}}(n-1)\})=\alpha χ2=σ2(n−1)S2​∼χ2(n−1),P({χ2<χ1−2α​2​(n−1)}∪{χ2>χ2α​2​(n−1)})=α

4. F = S 1 2 / σ 1 2 S 2 2 / σ 2 2 ∼ F ( n 1 − 1 , n 2 − 1 ) , P ( { F < F 1 − α 2 ( n 1 − 1 , n 2 − 1 ) } ∪ { F > F α 2 ( n 1 − 1 , n 2 − 1 ) } ) = α F=\frac{S_1^2/\sigma_1^2}{S^2_2/\sigma_2^2} \sim F(n_1-1,n_2-1), \quad P(\{F<F_{1-\frac{\alpha}{2}}(n_1-1,n_2-1)\}\cup \{F>F_{\frac{\alpha}{2}}(n_1-1,n_2-1)\})=\alpha F=S22​/σ22​S12​/σ12​​∼F(n1​−1,n2​−1),P({F<F1−2α​​(n1​−1,n2​−1)}∪{F>F2α​​(n1​−1,n2​−1)})=α

正态总体均值的区间估计

单个正态总体$X_1,X_2,\cdots ,X_n,X\sim N(\mu ,{\sigma }^2)$，求$\mu$置信度$1-\alpha$的置信区间$(\underline{\theta },\bar{\theta })$。

1. 方差已知 ${\sigma }^2={\sigma }_0^2$，估计均值

   构造统计量：$Z=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$

   P { − Z α 2 < X ˉ − μ σ 0 / n < Z α 2 } = 1 − α P\{-Z_{\frac{\alpha}{2}}<\frac{\bar{X}-\mu}{\sigma_0/\sqrt{n}} <Z_{\frac{\alpha}{2}}\}=1-\alpha P{−Z2α​​<σ0​/n ​Xˉ−μ​<Z2α​​}=1−α

   推得：$[\bar{X}\pm Z_{\frac{\alpha }{2}}\frac{{\sigma }_0}{\sqrt{n}}]$

2. 方差未知，估计均值，用$S^2$代替${\sigma }^2$

   构造统计量：$T=\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$

   P { − t α 2 ( n − 1 ) < X ˉ − μ S / n < t α 2 ( n − 1 ) } = 1 − α P\{-t_{\frac{\alpha}{2}}(n-1)<\frac{\bar{X}-\mu}{S/\sqrt{n}} <t_{\frac{\alpha}{2}}(n-1)\}=1-\alpha P{−t2α​​(n−1)<S/n ​Xˉ−μ​<t2α​​(n−1)}=1−α

   推得：$[\bar{X}\pm t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}}]$

   当$n>50$时，$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim N(0,1)$(近似)，则区间估计为$[\bar{X}\pm Z_{\frac{\alpha }{2}}\frac{S}{\sqrt{n}}]$

两个正态总体均值差${\mu }_1-{\mu }_2$的置信区间

1. 方差已知，${\sigma }_1^2,{\sigma }_2^2$

   构造统计量：$\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}}+\frac{{\sigma }_2^2}{n_2}}\sim N(0,1)$

   推得：$[\bar{X}-\bar{Y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}]$

2. 方差未知，用$S_1^2,S_2^2$代替${\sigma }_1^2,{\sigma }_2^2$

   构造统计量：$\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}},S_w=\sqrt{\frac{(n_1-1)S_1^2+(n_2-1S_2^2)}{n_1+n_2-2}}$

   推得：$[\bar{X}-\bar{Y}\pm t_{\frac{\alpha }{2}}(n_1+n_2-2)]S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}$

大子样对两正态总体均值差的区间估计

方差已知，$\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}}+\frac{{\sigma }_2^2}{n_2}}\sim N(0,1)$【大子样近似】

推得： $[\bar{X}-\bar{Y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}]$

方差未知，用$S_1^2,S_2^2$代替${\sigma }_1^2,{\sigma }_2^2$，当$n_1,n_2$都很大时，$\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}}\sim N(0,1)$ 【大子样近似】

推得： $[\bar{X}-\bar{Y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}]$

正态总体方差的区间估计

单个正态总体

1. $\mu$已知

   构造统计量：${\chi }^2=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\sigma }^2}\sim {\chi }^2(n)$

   P { χ 1 − α 2 2 ( n ) ≤ ∑ i = 1 n ( X i − μ ) 2 σ 2 ≤ χ α 2 ( n ) 2 } = 1 − α P\{\chi^2_{1-\frac{\alpha}{2}}(n) \le \frac{\sum\limits_{i=1}^{n}(X_i-\mu)^2}{\sigma^2} \le\chi^2_{\frac{\alpha}{2}(n)} \}=1-\alpha P{χ1−2α​2​(n)≤σ2i=1∑n​(Xi​−μ)2​≤χ2α​(n)2​}=1−α

   推得： $[\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)},\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}]$

2. $\mu$未知

   构造统计量：$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

   P { χ 1 − α 2 2 ( n − 1 ) ≤ ( n − 1 ) S 2 σ 2 ≤ χ α 2 ( n − 1 ) 2 } = 1 − α P\{\chi^2_{1-\frac{\alpha}{2}}(n-1) \le \frac{(n-1)S^2}{\sigma^2} \le\chi^2_{\frac{\alpha}{2}(n-1)} \}=1-\alpha P{χ1−2α​2​(n−1)≤σ2(n−1)S2​≤χ2α​(n−1)2​}=1−α

   推得： $[\frac{(n-1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}]$

两个正态总体方差比$\frac{{\sigma }_1^2}{{\sigma }_2^2}$的区间估计

构造统计量：$F=\frac{{\sigma }_1^2/{\sigma }_2^2}{S_1^2/S_2^2}\sim F(n_2-1,n_1-1)$

P { F 1 − α 2 ( n 2 − 1 , n 1 − 1 ) ≤ σ 1 2 / σ 2 2 S 1 2 / S 2 2 ≤ F α 2 ( n 2 − 1 , n 1 − 1 ) } = 1 − α P\{F_{1-\frac{\alpha}{2}}(n_2-1,n_1-1)\le \frac{\sigma_1^2/\sigma_2^2}{S_1^2/S_2^2} \le F_{\frac{\alpha}{2}}(n_2-1,n_1-1) \}=1-\alpha P{F1−2α​​(n2​−1,n1​−1)≤S12​/S22​σ12​/σ22​​≤F2α​​(n2​−1,n1​−1)}=1−α

推得：$[\frac{S{1}^2}{S_2^2}{F}_{1-\frac{\alpha }{2}}(n_2-1,n_1-1),\frac{S{1}^2}{S_2^2}{F}_{\frac{\alpha }{2}}(n_2-1,n_1-1)]=[\frac{S{1}^2}{S_2^2}\frac{1}{F_{\frac{\alpha }{2}}(n_1-1,n_2-1)},\frac{S{1}^2}{S_2^2}{F}_{\frac{\alpha }{2}}(n_2-1,n_1-1)]$

单侧置信区间

P { θ ≥ θ 1 ^ } = 1 − α , [ θ ^ 1 , + ∞ ) P { θ ≤ θ 2 ^ } = 1 − α , ( − ∞ , θ 2 ^ ] \begin{aligned} P\{\theta \ge \hat{\theta_1} \}=1-\alpha, \quad [\hat{\theta}_1, +\infty) \\ P\{\theta \le \hat{\theta_2} \}=1-\alpha, \quad (-\infty,\hat{\theta_2}] \\ \end{aligned} P{θ≥θ1​^​}=1−α,[θ^1​,+∞)P{θ≤θ2​^​}=1−α,(−∞,θ2​^​]​

单侧置信区间在统计量的构造上与双侧的一致，在求区间时$\frac{\alpha }{2}$换成$\alpha$。