概率论与数理统计_上_科学出版社

前言

更好的阅读体验：https://blog.dwj601.cn/GPA/4th-term/ProbAndStat/

笔记范围：一至四章。五至八章请跳转：https://blog.csdn.net/qq_73408594/article/details/140190576

教材情况：

学习资源：

• 📺 视频资源：《概率论与数理统计》教学视频全集（宋浩）
• 📖 教材答案：https://pan.baidu.com/s/1yeC0rxatHaLeNHQaW85Kpw?pwd=448w

第1章 事件与概率

1.1 随机事件与样本空间

1.1.1 样本空间

随机事件发生的总集合 $\Omega$

1.1.2 随机事件

事件是否发生取决于观察结果的事件

1.1.3 事件之间的关系与运算

1. 包含：$A\subset B$ or $B\subset A$
2. 相等：$A=B$
3. 并（和）：$A\cup B$
4. 交（积）：$A\cap B(AB)$
5. 互斥（互不相容）：$AB=\Phi$
6. 对立事件（余事件）：$A\cap B=\Phi \wedge A\cup B=\Omega$
7. 差：$A-B=A\cap \overline{B}=A\overline{B}$
8. 德摩根律

将事件发生的概率论转化为集合论进行计算与分析

1.2 概率的三种定义及其性质

1.2.1 概率的统计定义

从频率出发得到。

1.2.2 概率的古典定义

特征：

• 样本空间是有限集
• 等可能性（试验中每个基本事件发生的概率是等可能的）

内容：

1. 模型与计算公式
2. 基本组合分析公式
   • 乘法、加法原理
   • 排列公式
   • 组合公式
3. 实例
   • 超几何概率
   • 分房问题
   • 生日问题
4. 古典概率的基本性质

1.2.3 概率的几何定义

特征：

• 样本空间不可列
• 等可能性

内容：

1. 模型与计算公式
2. 实例
   • 一维几何图形：公交车乘车问题
   • 二维几何图形：会面问题、蒲丰（Buffon）投针问题
3. 几何概率的基本性质

1.2.4 概率的性质

pass

1.3 常用概型公式

1.3.1 条件概率计算公式

$$P(B|A)=\frac{P(AB)}{P(A)}$$

1.3.2 乘法原理计算公式

• $\text{基本}:\text{前提}:P(A)>0$
  $$P(AB)=P(A)P(B|A)$$

• $\text{推广}:\text{前提}:P(A_1{A}_2,...,A_n)>0$
  $$P(A_1{A}_2...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\cdots P(A_n|A_1{A}_2...A_{n-1})$$

1.3.3 全概公式

我们将样本空间 $\Omega$ 完全划分为 $n$ 个互斥的区域，即 $\Omega =\sum _{i=1}^n{A}_i$ ，则在样本空间中事件 $B$ 发生的概率 $P(B)$ 就是在各子样本空间中概率之和，经过上述乘法公式变形，计算公式如下：
$$\begin{array}{c}\begin{array}{rl}P(B)& =P(B\Omega )\\ & =P(B{A}_1)+P(B{A}_2)+\cdots +P(B{A}_n)\\ & =P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+\cdots +P(A_n)P(B|A_n)\\ & =\sum _{i=1}^{n}P(A_i)P(B|A_i)\end{array}\end{array}$$

1.3.4 贝叶斯公式

在上述全概公式的背景之下，现在希望求解事件 $B$ 在第 $j$ 个子样本空间 $A_j$ 中发生的概率，或者说第 $j$ 个子样本空间对于事件 $B$ 的发生贡献了多少概率，记作 $P(A_j|B)$ ，计算公式如下：
$$P(A_j|B)=\frac{P(A_j)P(B|A_j)}{\sum _{i=1}^{n}P(A_i)P(B|A_i)}$$
{% note light %}

可以发现全概公式是计算事件发生的所有子样本空间的概率贡献，而贝叶斯公式是计算事件发生的总概率中某些子样本空间的概率贡献，前者是正向思维，后者是逆向思维

{% endnote %}

1.4 事件的独立性及伯努利概型

1.4.1 独立性

定义

• 基本：若 $A,B$ 相互独立，则满足：
  $$P(AB)=P(A)P(B)$$

• 推广：若 $A_1,A_2,...,A_n$ 相互独立，则满足：
  $$\begin{array}{r}\forall 1\le i_1<i_2<\cdots <i_k\le n(k=2,3,\cdots ,n)\\ s.t.P(A_{i_1}{A}_{i_2}\cdots A_{i_k})=P(A_{i_1})P(A_{i_2})\cdots P(A_{i_k})\end{array}$$

定理

• 基本：若 $A,B$ 相互独立，则 $A,\overline{B}$ 相互独立；$\overline{A},B$ 相互独立；$\overline{A},\overline{B}$ 相互独立

• 推广：若 $A_1,A_2,...,A_n$ 相互独立，则其中任意 $k(2\le k\le n)$ 个也相互独立，且满足：
  $$\begin{array}{r}P(\widehat{A_{i_1}}\widehat{A_{i_2}}\cdots \widehat{A_{i_k}})=P(\widehat{A_{i_1}})P(\widehat{A_{i_2}})\cdots P(\widehat{A_{i_k}})\\ s.t.\widehat{A_{i_j}}=Aor\overline{A}(j=1,2,\cdots ,k)\end{array}$$

概念辨析

• 两两独立：对于 $n$ 个事件，两两独立，而不考虑三个及以上的关系。

• 相互独立：对于 $n$ 个事件，$2\to n$ 个事件的独立关系都需要考虑。

• 总结：对于 $n$ 个事件，满足两两独立需要 $C_n^2$ 个等式关系，对于相互独立需要 $2^n-(n+1)$ 个等式关系，因此：
  $$\text{两两独立}\subset \text{相互独立}$$

1.4.2 伯努利概型

定义：$n$ 重伯努利概型

• $n$ 重：发生 $n$ 次独立试验
• 伯努利概型：每次试验只有两种可能的结果

模型：

• 二项概率公式：n 次独立重复试验发生 k 次的概率：
  $$C_n^k{p}^k(1-p{)}^{n-k}$$

• 几何概率公式：在第 n 次试验首次成功的概率：
  $$(1-p{)}^{n-1}p$$

第2章 随机事件及其分布

{% note light %}

我们知道，解决事件发生概率的问题，除了事件表示以外，我们还关心每一个事件发生的概率 $P(X=k)$，以及某些事件发生的概率 $P(X=[range))$。接下来我们将：

• 首先介绍随机变量的概念以及分布函数的概念
• 接着介绍随机变量对应的概率发生情况组成的集合。离散型的叫分布列，连续型的叫概率密度函数，并在其中贯穿分布函数的应用
• 最后介绍分布函数的复合。从离散型和连续型随机变量两个方向展开

{% endnote %}

2.1 随机变量及其概率分布

2.1.1 随机变量的概念

总的来说，随机变量就是一个样本空间与实数集的映射。我们定义样本空间 Ω = { ω } \Omega=\{ \omega \} Ω={ω}，其中 $\omega$ 表示所有可能的事件，实数集 $R$，随机变量 $X$，则随机变量满足以下映射关系
$$X(\omega )=R$$

2.1.2 随机变量的分布函数

1. 分布函数的定义：$F(x)=P(X\le x)$
2. 分布函数的性质：
   • 非负有界性：$0\le F(x)\le 1$
   • 单调不减性：若 $x_1<x_2$，则 $F(x_1)\le F(x_2)$
   • $F(-\infty )=\underset{x\to -\infty }{\lim }F(x)=0$，$F(+\infty )=\underset{x\to +\infty }{\lim }F(x)=1$
   • 右连续性：$\underset{x\to x_0^{+}}{\lim }F(x)=F(x_0)(-\infty <x_0<+\infty )$

2.2 离散型随机变量及其分布列

2.2.1 离散性随机变量的分布列

随机变量的取值都是整数，有以下三种表示方法

1. 公式法
   $$p_k=P(X=x_k),k=1,2,\cdots ,$$

2. 服从法
   $$X\sim \left(\begin{array}{cccc}{x}_1& x_2& x_3& \cdots \\ p_1& p_2& p_3& \cdots \end{array}\right)$$

3. 表格法
   $$\begin{array}{ccccc}X& x_1& x_2& x_3& \cdots \\ P& p_1& p_2& p_3& \cdots \end{array}$$

2.2.2 常用离散性随机变量及其分布列

• 0-1分布：即一个事件只有两面性，我们称这样的随机变量服从0-1分布或者两点分布，记作
  $$X\sim \left(\begin{array}{cc}0& 1\\ 1-p& p\end{array}\right)$$

• 二项分布：其实就是 n 重伯努利试验，我们称这样的随机变量服从二项分布，分布列为 $P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$，记作
  $$X\sim B(n,p)$$

• 几何分布：同样是伯努利事件，现在需要求解第 $k$ 次事件首次发生的概率，此时分布列为 $P(X=k)=(1-p{)}^{k-1}p$，记作
  $$X\sim G(p)$$

• 超几何分布：就是在 N 件含有 M 件次品的样品中无放回的抽取 n 件，问其中含有次品数量的分布列，为 $P(X=k)=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n},k=0,1,2,\cdots ,\min (n,M)$，记作
  $$X\sim \text{超几何分布}(n,N,M)$$

• 泊松分布：当二项分布中，试验次数很大或者概率很小时，可以近似为泊松分布，即 $P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}\to \frac{{\lambda }^k}{k!}{e}^{-\lambda }$，其中常数 $\lambda >0$，记作
  $$X\sim P(\lambda )$$
  显然，泊松分布含有下面两个性质

  1. $P(X=k)>0,k=0,1,\cdots$

  2. $\sum _{k=0}^{\infty }P(X=k)=1$

     {% fold light @泊松分布正规性证明 %}

     

     {% endfold %}

2.3 连续型随机变量及其概率密度函数

说白了其实就是离散性随机变量的积分加强版。现在随着事件发生的不同取值 $x$，随机变量 $X$ 发生的概率 $P(X=x)$ 变成了连续的取值了（学名概率密度函数），于是分布函数（离散的叫分布列）的取值就没那么容易求了（其实一重定积分就可以）。接下来就从定义、性质、应用三个角度出发介绍概率密度函数以及相应的随机变量的分布函数。

2.3.1 连续型随机变量的密度函数

概率密度函数，简称：密度函数 or 概率密度

• 定义：设随机变量 $X$ 的分布函数为 $F(x)$，如果存在非负可积函数 $p(x)$，使下式成立，则称 $X$ 为连续型随机变量，$p(x)$ 为 $X$ 的概率密度函数
  $$\forall x\in R,F(x)={\int }_{-\infty }^{x}p(t)dt$$

• 性质：

  1. 非负性：$p(x)\ge 0$

  2. 正规性：${\int }_{-\infty }^{+\infty }p(x)dx=1$

  3. 可积性：$\forall x_1\le x_2,P(x_1\le X\le x_2)=F(x_2)-F(x_1)={\int }_{x_1}^{x_2}p(x)dx$

  4. 分布函数可导性：若 $p(x)$ 在点 $x$ 处连续，则 $F^{\prime }(x)=p(x)$

  5. 已知事件但无意义性：$\forall x\in R,P(X=x)=F(x)-F(x)=0$

     • 离散型变量可以通过列举随机变量 $X$ 的取值来计算概率，但连续型随机变量这么做是无意义的
     • $P(A)=0$ 不能推出 $A$ 是不可能事件，$P(A)=1$ 不能推出 $A$ 是必然事件
     • 对于连续型随机变量 $X$ 有：$P(x_1<X<X_2)=P(x_1<X\le X_2)=P(x_1\le X<X_2)=P(x_1\le X\le X_2)$

  6. 实际描述性：密度函数的数值反映了随机变量 $X$ 取 $x$ 的临近值的概率的大小，因为
     $$p(x)\Delta x\approx {\int }_x^{x+\Delta x}p(t)dt=F(x+\Delta x)-F(x)=P(x\le X\le x+\Delta x)$$

2.3.2 常用连续型随机变量及其密度函数

补充说明：

• 指数分布：其中参数 $\lambda >0$

• 正态分布：一般正态函数 $F(x)$ 转化为标准正态函数 $\Phi (x)$ 公式：
  $$F(x)=\Phi (\frac{x-\mu }{\sigma })$$
  于是对于计算一般正态函数的函数值，就可以通过下式将其转化为标准正态函数，最后查表即可：

$$P(X\le x)=F(x)=\Phi (\frac{x-\mu }{\sigma })$$

2.4 随机变量函数的分布

{% note light %}

本目主要介绍给定一个随机变量 $X$ 的分布情况，通过一个关系式 $y=g(x)$ 来求解随机变量 $Y$​ 的分布情况

{% endnote %}

2.4.1 离散型随机变量函数的分布

通过关系式 $y=g(x)$​ 将所有的 $Y$ 的取值全部枚举出来，然后一一统计即可。

2.4.2 连续型随机变量函数的分布

给定随机变量 $X$ 的概率密度函数 $p_X(x)$，以及关系式 $y=g(x)$，求解随机变量 $Y$ 的分布函数 $F_Y(y)$、概率密度函数 $p_Y(y)$

• 方法一：先求解随机变量 $Y$ 的分布函数 $F_Y(y)$，再通过对其求导得到概率密度函数 $p_Y(y)$​

  即先 $F_Y(y)=P_Y(Y\le y)=P_Y(g(X)\le y)=P_X(X\le f(y))=F_X(f(y))$ 得到 $Y$ 的分布函数

  再对 $F_Y(y)$ 求导得 $p_Y(y)=\frac{d}{dy}{F}_Y(y)=\frac{d}{dy}{F}_X(f(y))=F_X^{\prime }(f(y))\cdot f^{\prime }(y)=p_X(f(y))\cdot f^{\prime }(y)$

• 方法二：如果关系式 $y=g(x)$ 单调且反函数 $x=h(y)$ 连续可导，则可以直接得出随机变量 $Y$ 的概率密度函数 $p_Y(y)$ 为下式。其中 $\alpha$ 和 $\beta$ 为 $Y=g(X)$ 的取值范围（$x$ 应该怎么取值，$h(y)$ 就应该怎么取值，从而计算出 $y$ 的取值范围）
  $$p_Y(y)=\{\begin{array}{ll}{p}_X(h(y))\cdot |h^{\prime }(y)|,& \alpha <y<\beta \\ 0,& \text{其他}\end{array}$$

第3章 随机向量及其分布

{% note light %}

实际生活中，只采用一个随机变量描述事件往往是不够的。本章引入多维的随机变量概念，构成随机向量，从二维开始，推广到 $n$​ 维。

{% endnote %}

3.1 二维随机向量的联合分布

{% note light %}

现在我们讨论二维随机向量的联合分布。所谓的联合分布，其实就是一个曲面的概率密度（离散型就是点集），而分布函数就是对其积分得到的三维几何体的体积（散点和）而已。

{% endnote %}

3.1.1 联合分布函数

定义：我们定义满足下式的二元函数 $F(x,y)$ 为二维随机向量 $(X,Y)$ 的联合分布函数
$$F(x,y)=P((X\le x)\cap (Y\le y))=P(X\le x,Y\le y)$$
{% fold light @几何意义：F(x,y) 即左下方无界矩形的面积 %}

{% endfold %}

性质：其实配合几何意义理解就会很容易了

1. 固定某一维度，另一维度是单调不减的
2. 对于每个维度都是右连续的
3. 固定某一维度，另一维度趋近于负无穷对应的函数值为 $0$
4. 二维前缀和性质，右上角的矩阵面积 $\ge 0$

3.1.2 联合分布列

定义：若二维随机向量 $(X,Y)$ 的所有可能取值是至多可列的，则称 $(X,Y)$ 为二维离散型随机向量

表示：有两种表示二维随机向量分布列的方法，如下

{% fold light @二维随机向量分布列的表示方法 %}

1. 公式法
   $$p_{ij}=P(X=x_i,Y=y_i),i,j=1,2,\cdots$$

2. 表格法：

   

{% endfold %}

性质：

1. 非负性：$p_{ij}\ge 0,i,j=1,2,\cdots$
2. 正规性：$\sum _i\sum _j{p}_{ij}=1$

3.1.3 联合密度函数

定义：
$$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}p(u,v)dudv$$
性质：

1. 非负性：$\forall x,y\in R,p(x,y)\ge 0$
2. 正规性：${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }p(x,y)dxdy=1$

结论：

1. 联合分布函数相比于一元分布函数，其实就是从概率密度函数与 $x$ 轴围成的面积转变为了概率密度曲面与 $xOy$​ 平面围成的体积
2. 若概率密度曲面在 $xOy$ 平面的投影为点集或线集，则对应的概率显然为零

常见的连续型二维分布：

1. 二维均匀分布：假设该曲面与 $xOy$ 面的投影面积为 $S$，则分布函数其实就是一个高为定值 $\frac{1}{S}$ 的柱体，密度函数为：
   $$p(x,y)=\{\begin{array}{ll}\frac{1}{S},& (x,y)\in G\\ 0,& \text{其他}\end{array}$$

2. 二元正态分布：不要求掌握密度函数，可以感受一下密度函数的图像：

   {% fold light @二元正态分布 - 密度函数的图像%}

   

   {% endfold %}

计算题：往往给出一个二元密度函数，然后让我们求解（1）密度函数中的参数、（2）分布函数、（3）联合事件某个区域下的概率

（1）我们利用二元密度函数的正规性，直接积分值为 $1$ 即可

（2）划分区间后进行曲面积分即可，在曲面积分时往往结合 $X$ 型和 $Y$ 型的二重积分进行

（3）画出概率密度曲面在 $xOy$ 面的投影，然后积分即可

3.2 二维随机向量的边缘分布

{% note light %}

对于二元分布函数，我们也可以研究其中任意一个随机变量的分布情况，而不需要考虑另一个随机变量的取值情况。举一个实例就是，假如当前的随机向量是身高和体重，所谓的只研究其中一个随机变量，即边缘分布函数的情形就是，我们不考虑身高只考虑体重的分布情况；或者我们不考虑体重，只考虑身高的分布情况。接下来，我们将从边缘分布函数入手，逐渐学习离散型的分布列与连续型的分布函数。

{% endnote %}

3.2.1 边缘分布函数

我们称 $F_X(x),F_Y(y$) 分别为 $(X,Y)$ 关于 $X,Y$ 的边缘分布函数，定义式为：
$$\begin{array}{r}{F}_X(x)=P(X\le x)=P(X\le x,Y<+\infty )=\underset{y\to +\infty }{\lim }F(x,y)=F(x,+\infty )\\ F_Y(y)=P(Y\le y)=P(X<+\infty ,Y\le y)=\underset{x\to +\infty }{\lim }F(x,y)=F(+\infty ,y)\end{array}$$

3.2.2 边缘分布列

所谓的边缘分布列，就是固定一个随机变量，另外的随机变量取遍，组成的分布列。即：
$$\begin{array}{r}P(X=x_i)=p_{i\cdot }=\sum _{j=1}^{+\infty }{p}_{ij},i=1,2,\cdots \\ P(Y=y_j)=p_{\cdot j}=\sum _{i=1}^{+\infty }{p}_{ij},j=1,2,\cdots \end{array}$$
我们称：

• $P(X=x_i)$ 为随机向量 $(X,Y)$ 关于 $X$ 的边缘分布列

• $P(Y=y_j)$ 为随机向量 $(X,Y)$ 关于 $Y$ 的边缘分布列

3.2.3 边缘密度函数

所谓的的边缘密度函数，可以与边缘分布列进行类比，也就是固定一个随机变量，另外的随机变量取遍。只不过连续型的取遍就是无数个点，而离散型的取遍是可列个点，仅此而已。即：
$$\begin{array}{rl}P(X=x)& =p_X(x)\\ & =\frac{d}{dx}{F}_X(x)\\ & =\frac{d}{dx}F(x,+\infty )\\ & =\frac{d}{dx}{\int }_{-\infty }^x\left[{\int }_{-\infty }^{+\infty }p(u,v)dv\right]du\\ & ={\int }_{-\infty }^{+\infty }p(x,y)dy\end{array}$$

$$\begin{array}{rl}P(Y=y)& =p_Y(y)\\ & =\frac{d}{dy}{F}_Y(y)\\ & =\frac{d}{dy}F(+\infty ,y)\\ & =\frac{d}{dy}{\int }_{-\infty }^{+\infty }\left[{\int }_{-\infty }^{y}p(u,v)dv\right]du\\ & =\frac{d}{dy}{\int }_{-\infty }^y\left[{\int }_{-\infty }^{+\infty }p(u,v)du\right]dv\\ & ={\int }_{-\infty }^{+\infty }p(x,y)dx\end{array}$$

我们称：

• $P(X=x)$ 为随机向量 $(X,Y)$ 关于 $X$ 的边缘密度函数

• $P(Y=y)$ 为随机向量 $(X,Y)$ 关于 $Y$ 的边缘密度函数

3.3 随机向量的条件分布

{% note light %}

本目主要介绍的是条件分布。所谓的条件分布，其实就是在约束一个随机变量为定值的情况下，另外一个随机变量的取值情况。与上述联合分布、边缘分布的区别在于：

• 联合分布、边缘分布的分布函数是一个体积（散点和），概率密度（分布列）是一个曲面（点集）
• 条件分布的分布函数是一个面积（散点和），概率密度（分布列）是一个曲线（点集）

{% endnote %}

3.3.1 离散型随机向量的条件分布列和条件分布函数

条件分布列，即散点情况：
$$\begin{array}{r}{p}_{i|j}=P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_i)}{P(Y=y_i)}=\frac{p_{ij}}{p_{\cdot j}},i=1,2,\cdots \\ p_{j|i}=P(Y=y_j|X=x_i)=\frac{P(X=x_i,Y=y_i)}{P(X=x_i)}=\frac{p_{ij}}{p_{i\cdot }},j=1,2,\cdots \end{array}$$
我们称：

• $p_{i|j}$ 为在给定 $Y=y_j$ 的条件下 $X$ 的条件分布列

• $p_{j|i}$ 为在给定 $X=x_i$ 的条件下 $Y$ 的条件分布列

条件分布函数，即点集情况：
$$\begin{array}{r}F(x|y_j)=P(X\le x|Y=y_j)=\sum _{x_i\le x}\frac{p_{ij}}{p_{\cdot j}}\\ F(y|x_i)=P(Y\le y|X=x_i)=\sum _{y_j\le y}\frac{p_{ij}}{p_{i\cdot }}\end{array}$$
我们称：

• $F(x|y_j)$ 为在给定 $Y=y_j$ 的条件下 $X$ 的条件分布函数
• $F(y|x_i)$ 为在给定 $X=x_i$ 的条件下 $Y$ 的条件分布函数

3.3.2 连续型随机向量的条件密度函数和条件分布函数

条件密度函数，即联合分布的概率密度曲面上，约束了某一维度的随机变量为定值，于是条件密度函数的图像就是一个空间曲线：
$$\begin{array}{r}p(x|y)=\frac{p(x,y)}{p_Y(y)},-\infty <x<+\infty \\ p(y|x)=\frac{p(x,y)}{p_X(x)},-\infty <y<+\infty \end{array}$$
我们称：

• $p(x|y)$ 为在给定 $Y=y$ 的条件下 $X$ 的条件密度函数
• $p(y|x)$ 为在给定 $X=x$ 的条件下 $Y$ 的条件密度函数

条件分布函数，即上述曲线的分段积分结果：
$$\begin{array}{r}F(x|y)=P(X\le x|Y=y)={\int }_{-\infty }^x\frac{p(u,y)}{p_Y(y)}du,-\infty <x<+\infty \\ F(y|x)=P(Y\le y|X=x)={\int }_{-\infty }^y\frac{p(x,v)}{p_X(x)}dv,-\infty <y<+\infty \end{array}$$
我们称：

• $F(x|y)$ 为在给定 $Y=y$ 的条件下 $X$ 的条件分布函数
• $F(y|x)$ 为在给定 $X=x$ 的条件下 $Y$ 的条件分布函数

3.4 随机变量的独立性

{% note light %}

本目主要介绍随机变量的独立性。我们知道随机事件之间是有独立性的，即满足 $P(AB)=P(A)P(B)$ 的事件，那么随机变量之间也有独立性吗？答案是有的，以生活中的例子为实例，比如我和某个同学进教室，就是独立的两个随机变量。下面开始介绍。

{% endnote %}

• 定义：我们定义如果两个随机变量的分布函数满足下式，则两个随机变量相互独立：
  $$F(x,y)=F_X(x)F_Y(y)$$

• 性质：对于随机向量 $(X,Y)$

  1. 随机变量 $X$ 和 $Y$ 相互独立的充分必要条件是：
     $$\begin{array}{rl}\text{离散型:}& P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)\\ \text{连续型:}& p(x,y)=p_X(x)p_Y(y)\end{array}$$

  2. 若随机变量 $X$ 和 $Y$ 相互独立，且 $h(\cdot )$ 和 $g(\cdot )$ 连续，则 $h(X),g(Y)$ 也相互独立

3.5 随机向量函数的分布

{% note light %}

在 2.4 目中我们了解到了随机变量函数的分布，现在我们讨论随机向量函数的分布。在生活中，假设我们已经知道了一个人群中所有人的身高和体重的分布情况，现在想要血糖根据身高和体重的分布情况，就需要用到本目的理念。我们从离散型和连续型随机向量 $(X,Y)$ 出发，讨论 $g(X,Y)$ 的分布情况。

{% endnote %}

3.5.1 离散型随机向量函数的分布

按照规则枚举即可。

3.5.2 连续型随机向量函数的分布

与连续型随机变量函数的分布类似，这类题目一般也是：给定随机向量 $(X,Y)$ 的密度函数 $p(x,y)$ 和 映射函数 $g(x,y)$，现在需要求解 $Z=g(X,Y)$ 的分布函数（若 $g(x,y)$ 二元连续，则 $Z$ 也是连续型随机变量）。方法同理，先求解 $Z$ 的分布函数，再对 $z$ 求导得到密度函数 $p_Z(z)$​。接下来我们介绍两种常见随机向量的分布。

(1) 和的分布：

• 先求分布函数 $F_Z(z)$：
  $$\begin{array}{rl}{F}_Z(z)& =P(X+Y\le z)\\ & =\underset{x+y\le z}{\iint }p(x,y)dxdy\\ & \begin{array}{rl}& ={\int }_{-\infty }^z\left[{\int }_{-\infty }^{+\infty }p(x,t-x)dx\right]dt\\ & ={\int }_{-\infty }^z\left[{\int }_{-\infty }^{+\infty }p(t-y,y)dy\right]dt\end{array}\end{array}$$

• 由分布函数定义：
  $$F_X(x)={\int }_{-\infty }^{x}p(u)du$$

• 所以可得 $Z=X+Y$ 的密度函数 $p_Z(z)$ 为：
  $$\begin{array}{rl}{p}_Z(z)={\int }_{-\infty }^{+\infty }p(x,z-x)dx& (1)\\ p_Z(z)={\int }_{-\infty }^{+\infty }p(z-y,y)dy& (2)\end{array}$$

• 若 X 和 Y 相互独立，还可得卷积式：
  $$\begin{array}{rlr}{p}_Z(z)& ={\int }_{-\infty }^{+\infty }p(x,z-x)dx& \\ & ={\int }_{-\infty }^{+\infty }{p}_X(x)\cdot p_Y(z-x)dx& (1)\\ p_Z(z)& ={\int }_{-\infty }^{+\infty }p(z-y,y)dy& \\ & ={\int }_{-\infty }^{+\infty }{p}_X(z-y)\cdot p_Y(y)dy& (2)\end{array}$$

(2) 次序统计量的分布（对于两个相互独立的随机变量 X 和 Y）：

• 对于 $M=\max (X,Y)$ 的分布函数，有：
  $$\begin{array}{rl}{F}_M(z)& =P(M\le z)\\ & =P(\max (X,Y)\le z)\\ & =P(X\le z,Y\le z)\\ & =P(X\le z)\cdot P(Y\le z)\\ & =F_X(z)\cdot F_Y(z)\end{array}$$

• 对于 $N=\min (X,Y)$ 的分布函数，有：
  $$\begin{array}{rl}{F}_N(z)& =P(N\le z)\\ & =P(\min (X,Y)\le z)\\ & =1-P(\min (X+Y)\ge z)\\ & =1-P(X\ge z,Y\ge z)\\ & =1-P(X\ge z)\cdot P(Y\ge z)\\ & =1-[1-F_X(z)]\cdot [1-F_Y(z)]\end{array}$$

• 若拓展到 $n$ 个相互独立且同分布的随机变量，则有：
  $$\begin{array}{rl}{F}_M(z)& =[F(z){]}^n\\ p_M(z)& =np(z)[F(z){]}^{n-1}\end{array}$$

  $$\begin{array}{rl}{F}_N(z)& =1-[1-F(z){]}^n\\ p_N(z)& =np(z)[1-F(z){]}^{n-1}\end{array}$$

第4章 随机变量的数字特征

{% note light %}

本章我们将学习随机变量的一些数字特征。所谓的数字特征其实就是随机变量分布的一些内在属性，比如均值、方差、协方差等等，有些分布特性甚至可以通过某个数字特征而直接觉得。其中期望和方差往往用来衡量单个随机变量的特征，而协方差与相关系数则是用来衡量随机变量之间的数字特征。接下来开始介绍。

{% endnote %}

4.1 数学期望

{% note light %}

加权平均概念的严格数学定义。

{% endnote %}

4.1.1 随机变量的数学期望

• 离散型
  $$EX=\sum _{i=1}^{\infty }{x}_i{p}_i$$

• 连续型
  $$\begin{array}{rl}& EX={\int }_{-\infty }^{+\infty }xp(x)dx\end{array}$$

4.1.2 随机变量函数的数学期望

• 离散型

  • 一元
    $$Eg(X)=\sum _{i=1}^{\infty }g(x_i)p_i$$

  • 二元
    $$Eg(X,Y)=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }g(x_i,y_i)p_{ij}$$

• 连续型

  • 一元
    $$Eg(X)={\int }_{-\infty }^{+\infty }g(x)p(x)dx$$

  • 二元
    $$Eg(X,Y)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x_i,y_i)p(x,y)dxdy$$

4.1.3 数学期望的性质

1. $EC=C$
2. $E(CX)=CEX$
3. $E(X+Y)=EX+EY$
4. 若 $X$ 和 $Y$ 相互独立，则 $E(XY)=EXEY$

4.2 方差

{% note light %}

随机变量的取值与均值之间的离散程度。

{% endnote %}

4.2.1 方差的定义

我们定义随机变量 $X$ 的方差 $D(X)$ 为：（全部可由期望的性质推导而来）
$$\begin{array}{rl}D(X)& =E\left[(X-EX{)}^2\right]\\ & =E\left(X^2\right)-(EX{)}^2\end{array}$$

4.2.2 方差的性质

下列方差的性质全部可由上述方差的定义式，结合期望的性质推导而来：

1. $D(aX+b)=a^{2}D(X)$

2. 若 $X_1,X_2,\cdots$ 相互独立，则 $D(a{X}_1\pm b{X}_2\pm \cdots )=a^{2}D(X_1)+b^{2}D(X_2)+\cdots$

3. $E\left[(X-EX{)}^2\right]\le E\left[(X-C{)}^2\right]$​

4. 切比雪夫不等式 （本以为不要求掌握的，但是被小测拷打了，补一下）：
   $$\forall ϵ>0,P(|X-EX|<ϵ)\ge 1-\frac{DX}{{ϵ}^2}$$

4.3 结论与推导（补）

{% note warning %}

注：打星号表示在两个随机变量 $X,Y$ 相互独立时，具备可加性。具体的：

1. $X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)\to X\pm Y\sim N({\mu }_1\pm {\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$
2. $X\sim B(n_1,p),Y\sim B(n_2,p)\to X+Y\sim B(n_1+n_2,p)$
3. $X\sim P({\lambda }_1),Y\sim P({\lambda }_2)\to X+Y\sim P({\lambda }_1+{\lambda }_2)$

{% endnote %}

{% fold light @推导 %}

推导的根本方式还是从定义出发。当然为了省事也可以从性质出发。

0-1 分布

二项分布

几何分布

泊松分布

均匀分布

指数分布

{% endfold %}

4.4 协方差与相关系数

4.4.1 协方差

定义：随机变量 X 与 Y 的协方差 $Cov(X,Y)$ 为：
$$\begin{array}{rl}Cov(X,Y)& =E[(X-EX)(Y-EY)]\\ & =E(XY)-EXEY\end{array}$$
特别的：
$$Cov(X,X)=DX$$
性质：

1. 交换律：$Cov(X,Y)=Cov(Y,X)$
2. 提取率：$Cov(aX,bY)=abCov(X,Y)$
3. 分配率：$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
4. 独立性：若 X 与 Y 相互独立，则 $Cov(X,Y)=0$；反之不一定成立
5. 放缩性：${\left[Cov(X,Y)\right]}^2\le DX\cdot DY$

4.4.2 相关系数

定义：相关系数 $\rho$ 是用来刻画两个随机变量之间线性相关关系强弱的一个数字特征，注意是线性关系。$|\rho |$ 越接近 0，则说明两个随机变量越不线性相关；$|\rho |$ 越接近 1，则说明两个随机变量越线性相关，定义式为
$${\rho }_{X,Y}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$$
特别的：

1. 若 $0<\rho <1$，则称 X 与 Y 正相关
2. 若 $-1<\rho <0$，则称 X 与 Y 负相关

性质：

1. 放缩性（由协方差性质5可得）：$|\rho |\le 1$
2. 独立性（由协方差性质4可得）：若 X 与 Y 相互独立，则 $p=0$；反之不一定成立
3. 线性相关性（不予证明）：$|\rho |=1$ 的充分必要条件是存在常数 $a(a\ne 0),b$ 使得 $P(Y=aX+b)=1$

4.4.3 独立性与线性相关性（补）

一般的：对于两个随机变量 $X$ 和 $Y$

• $X$ 和 $Y$ 相互独立 $\to$ $X$ 和 $Y$ 线性无关（可以用线性相关的定义式结合协方差计算公式导出）
• $X$ 和 $Y$ 相互独立 $\nleftarrow$ $X$ 和 $Y$ 线性无关（因为有可能出现 $X$ 和 $Y$ 非线性相关）

特别的：对于满足二维正态分布的随机变量 $X$ 和 $Y$，即 $(X,Y)\sim ({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$

• $X$ 和 $Y$ 相互独立 $\to$ $X$ 和 $Y$ 线性无关
• $X$ 和 $Y$ 相互独立 $\leftarrow$ $X$ 和 $Y$​ 线性无关

{% fold light @证明 - 二维正态分布的两个随机变量：相互独立 等价于 线性无关 %}

参考：https://www.zhihu.com/question/29641138

{% endfold %}