随机过程及应用学习笔记（四） 马尔可夫过程

马尔可夫过程是理论上和实际应用中都十分重要的一类随机过程。

目录

前言

一、马尔可夫过程的概念

二、离散参数马氏链

1 定义

2 齐次马尔可夫链

3 齐次马尔可夫链的性质

三、齐次马尔可夫链状态的分类

四、有限马尔可夫链

五、状态的周期性

六、极限定理

七、生灭过程

总结

前言

经典力学中，在一给定时刻t的轨道，完全可以用在某时刻t0<t的状态确定,而不必知道t0前的状态。这一原则推广到遵从概率规律而不是决定性规律的体系，即当过程在t-t0时刻所处的状态已知的情况下，过程在时刻t(t>≥t0)所处的状态与过程在t-t0时刻之前的状态无关。这种已知“现在”的条件下，“将来”与“过去”无关的性质，就是直观意义下的马尔可夫性或称为无后效性。具有无后效性的过程称为马尔可夫过程。

一、马尔可夫过程的概念

一个马尔可夫过程由以下几个要素构成：

1. 状态空间 (State Space): 表示可能的状态集合，记作 S。

2. 转移概率 (Transition Probability): 描述从一个状态到另一个状态的概率。对于离散时间的情况，可以用转移矩阵 P 表示，其中 P(i, j) 表示从状态 i 转移到状态 j 的概率。数学上，这可以表示为：

   P(Xn+1​=j∣Xn​=i)=Pij​

   其中Xn​ 表示在时刻 n 的状态，Pij​ 是从状态 i 转移到状态 j 的概率。

3. 初始概率分布 (Initial Probability Distribution): 描述在初始时刻系统处于每个状态的概率分布。

马尔可夫过程可以分为离散时间马尔可夫链和连续时间马尔可夫过程两种。在连续时间的情况下，转移概率可以用转移率 (transition rate) 来描述

二、离散参数马氏链

1 定义

离散参数马氏链（Discrete-time Markov Chain）是一个随机过程，具有马尔可夫性质，而且在离散的时间步长内进行状态的转移。以下是离散参数马氏链的一般定义：

1. 状态空间 (State Space): 表示系统可能处于的所有状态的集合，通常用 S 表示。

2. 初始概率分布 (Initial Probability Distribution): 描述在初始时刻系统处于每个状态的概率分布，通常用 P(X0​=i) 表示，其中 i 是状态空间中的一个状态。

3. 转移概率 (Transition Probability): 描述在给定当前状态的情况下，系统转移到下一个状态的概率。用 Pij​ 表示从状态 i 转移到状态 j 的概率，其中 i,j∈S。转移概率矩阵 P 是一个矩阵，其元素为Pij​。

   转移概率满足以下性质： P(Xn+1​=j∣Xn​=i)=Pij​

   对于所有的 i,j∈S 和 n=0,1,2,…。

4. 马尔可夫性 (Markov Property): 离散参数马氏链具有无后效性，即在给定当前状态的情况下，未来的状态只依赖于当前状态，而与过去的状态无关。

2 齐次马尔可夫链

齐次马尔可夫链（Homogeneous Markov Chain）是指在其转移概率在时间上保持不变的离散参数马尔可夫链。这意味着系统的状态转移概率在时间上是恒定的，不依赖于具体的时间步长。

具体来说，对于一个齐次马尔可夫链，转移概率 Pij​ 在不同的时间步长上是相同的。即对于所有的状态 i,j 和时间步长 n，都有：

P(Xn+1​=j∣Xn​=i)=Pij​

其中Pij​ 是常数，矩阵 P 中的元素。这表示齐次马尔可夫链的转移概率矩阵在时间上保持不变。

齐次马尔可夫链的特性使得我们可以更容易地分析系统的稳定性和长期行为。通过对转移概率矩阵的特征值和特征向量进行分析，可以得到关于系统长期行为的信息，例如平稳分布等。

3 齐次马尔可夫链的性质

齐次马尔可夫链（Homogeneous Markov Chain）具有一些重要的性质，这些性质有助于我们理解和分析系统在长期演变中的行为。以下是齐次马尔可夫链的一些主要性质：

1. 稳定分布（Stationary Distribution）： 如果齐次马尔可夫链具有有限的状态空间且是不可约的（即从任一状态可以到达任一其他状态），则存在一个唯一的稳定分布。该稳定分布是一个概率分布，表示在长时间内系统处于各个状态的概率。稳定分布可以通过解 πP=π 的方程得到，其中 π 是稳定分布向量，P 是转移概率矩阵。

2. 周期性（Periodicity）： 齐次马尔可夫链可能具有周期性，即存在一个正整数 d，使得从某一状态出发，返回该状态的最小步数是 d 的倍数。如果 d=1，则称该状态是非周期的；否则，称为周期为 d。

3. 吸收态（Absorbing States）： 一些状态可能是吸收态，即从这些状态出发，不可能离开。一旦达到吸收态，系统将永远留在这些状态上。

4. 遍历性（Recurrence）： 齐次马尔可夫链中的状态可以分为遍历态和非遍历态。如果从某一状态出发，最终回到该状态的概率为1，则称该状态是遍历态；否则，称为非遍历态。

5. 极限分布（Limiting Distribution）： 如果齐次马尔可夫链是不可约的且非周期的，那么它在长时间内会趋向于一个极限分布。这意味着随着时间的推移，系统的状态分布将收敛到一个稳定的概率分布。

三、齐次马尔可夫链状态的分类

在齐次马尔可夫链中，状态可以被分类为以下几类：

1. 遍历态（Recurrent States）： 一个状态是遍历态，如果从该状态出发，经过一定的时间步骤后，有概率1回到该状态。遍历态可以进一步分为正常遍历态和零遍历态：

   • 正常遍历态（Positive Recurrent States）：如果期望回到该状态的时间是有限的，即 E(Ti​∣X0​=i)<∞，其中 Ti​ 是回到状态 i 所需的步数。
   • 零遍历态（Null Recurrent States）：如果期望回到该状态的时间是无限的，即 E(Ti​∣X0​=i)=∞。

2. 非遍历态（Transient States）： 一个状态是非遍历态，如果从该状态出发，经过一定的时间步骤后，有概率0回到该状态。非遍历态是一种一次性的状态，一旦离开就不再返回。

3. 吸收态（Absorbing States）： 一个状态是吸收态，如果从该状态出发，无论经过多少步骤，都不可能离开。吸收态是一种特殊的遍历态。

4. 周期性（Periodic States）： 一个状态可能是周期性的，即存在一个正整数 d，使得从该状态出发，返回该状态的最小步数是 d 的倍数。如果d=1，则称该状态是非周期的。

四、有限马尔可夫链

五、状态的周期性

在马尔可夫链中，状态的周期性描述了从某个状态出发，返回该状态的步数的性质。一个状态的周期性被定义为该状态上的最小正整数 d，使得从该状态出发返回的步数都是 d 的倍数。

形式化地，对于状态 i，其周期 di​ 定义如下：

di​=gcd{n>0:P(Xn​=i∣X0​=i)>0}

其中 gcdgcd 表示最大公约数。如果di​=1，则状态 i 是非周期的；否则，它是周期为 di​ 的周期性状态。

状态的周期性有一些重要的性质：

1. 周期状态的集合： 马尔可夫链的状态可以分为不同的周期性类别，每个类别包含具有相同周期的状态。这使得我们可以将状态空间分解为周期性类别，从而更好地理解系统的结构。

2. 周期性状态的影响： 对于非周期状态，长期行为通常更容易分析，因为系统在这些状态间随着时间的推移更加均匀。然而，周期性状态可能导致系统的行为变得更为复杂，因为它涉及到周期性的振荡。

3. 周期性状态的影响： 在周期性状态的情况下，系统可能在某些时间步长内呈现出规律性的变化，而在另一些时间步长内可能呈现出较为静态的状态。

六、极限定理

两个与马尔可夫过程相关的极限定理是大数定律和中心极限定理。

1. 大数定律（Law of Large Numbers）： 大数定律对于随机过程的极限定理描述了随机变量序列的均值在样本容量趋于无穷时的稳定性。对于马尔可夫过程，大数定律可以表示为，在长时间内，马尔可夫过程的状态分布趋于稳定。这意味着在马尔可夫链中，随着时间的推移，系统的状态分布趋于某个稳定的分布。

2. 中心极限定理（Central Limit Theorem）： 中心极限定理是另一个重要的极限定理，它描述了随机变量序列的和或均值在样本容量趋于无穷时的分布。对于马尔可夫过程，中心极限定理可以用来描述在一些条件下，随机过程的和或均值的分布在适当的标准化下趋于正态分布。这个定理对于理解马尔可夫过程的渐近性质非常有帮助。

七、生灭过程

生灭过程（Birth-and-Death Process）是马尔可夫过程的一种，其中系统中的状态可以通过出生和死亡两种基本的随机事件进行转移。这类过程通常用于模拟描述人口、分子数、队列长度等随时间变化的数量。

生灭过程的特点包括：

1. 有限状态空间： 生灭过程通常涉及有限个状态。这些状态通常按照一定的顺序排列，形成状态链。

2. 状态转移： 在生灭过程中，状态之间的转移只能通过出生（birth）和死亡（death）两种基本事件进行。出生事件导致系统的状态增加，而死亡事件导致状态减少。

3. 状态转移概率： 生灭过程的状态转移概率取决于当前状态，即转移到下一个状态的概率仅与当前状态有关。

4. 无向图表示： 通常可以使用无向图来表示生灭过程，其中每个状态对应一个节点，而状态之间的转移由边表示。边上的权重表示从一个状态转移到另一个状态的概率。

数学上，生灭过程的特点可以用转移概率来描述。设 Pi,i+1​ 表示从状态 i 转移到状态 i+1 的概率，而 Pi,i−1​ 表示从状态 i 转移到状态 i−1 的概率。则生灭过程的转移概率可以表示为：

P(Xn+1​=i+1∣Xn​=i)=Pi,i+1​

P(Xn+1​=i−1∣Xn​=i)=Pi,i−1​

P(Xn+1​=i∣Xn​=i)=1−Pi,i+1​−Pi,i−1​

生灭过程的分析涉及到马尔可夫链的理论和技巧，可以通过平衡方程、极限定理等方法来研究其性质。

总结

马尔可夫过程在数学、物理、生物学、经济学和工程学等各个领域都有广泛的应用。