样本熵与近似熵：度量时间序列复杂性的方法
样本熵与近似熵
- 近似熵（Approximate Entropy）
- 计算方法
- 样本熵（Sample Entropy）
- 计算方法
- 比较与应用
在分析时间序列数据时，了解序列的复杂性对于理解其内在动态非常关键。样本熵（Sample Entropy）和近似熵（Approximate Entropy）是两种常用的统计工具，用于度量时间序列的复杂性和预测难度。本文将详细介绍这两种方法的原理、差异及其应用。
近似熵（Approximate Entropy）
近似熵是一种衡量时间序列复杂性的统计量，由Steve Pincus于1991年提出。它的基本思想是衡量时间序列中相似模式的频率，其中相似性由给定的容忍度决定。时间序列越随机，其相似模式出现的频率越低，近似熵值越高，反之亦然。
计算方法
- 定义长度：首先，选取一个嵌入维度 m m m，即时间序列中连续数据点的数目。
- 选择容忍度：设定一个容忍度 r r r，通常是数据标准差的一定比例。
- 构造向量：对于时间序列，构造长度为 m m m 的向量。
- 计算相似度：对每个向量，计算与其它所有向量的距离，统计在容忍度 ( r ) 内相似的向量数目。
- 计算概率：计算向量间距离小于 r r r 的概率 C m ( r ) C^m(r) Cm(r))。
- 增加维度：重复上述过程，但将嵌入维度增加到 m + 1 m+1 m+1。
- 计算近似熵： A p E n ( m , r ) = ln ( C m ( r ) ) − ln ( C m + 1 ( r ) ) ApEn(m, r) = \ln(C^m(r)) - \ln(C^{m+1}(r)) ApEn(m,r)=ln(Cm(r))−ln(Cm+1(r))。
样本熵（Sample Entropy）
样本熵是基于近似熵改进的一种方法，由Richman和Moorman于2000年提出。样本熵在计算过程中不考虑序列内相同数据段的比较，从而避免了近似熵中的自匹配偏差，通常认为样本熵在小数据样本上更为准确和一致。
计算方法
- 选择嵌入维度和容忍度：与近似熵相同。
- 构造向量：与近似熵相同。
- 计算不包含自匹配的相似度：计算每个向量与其他向量的距离，忽略自匹配的情况。
- 计算概率：计算向量间距离小于 r r r 的概率，但不包括向量自身。
- 计算样本熵： S a m p E n ( m , r ) = − ln ( A B ) SampEn(m, r) = -\ln(\frac{A}{B}) SampEn(m,r)=−ln(BA)，其中 A A A 是在 m + 1 m+1 m+1 维时相似的向量对数， B B B 是在 m m m维时相似的向量对数。
比较与应用
- 稳定性：样本熵通常比近似熵更稳定，特别是在数据样本较少的情况下。
- 偏差：近似熵可能因包含自匹配的数据而产生偏差，而样本熵通过避免自匹配提高了测量的准确性。
- 应用范围：这两种方法都广泛应用于生物医学信号分析（如心电图和脑电图分析）、金融市场分析、地震数据分析等领域。
通过使用样本熵和近似熵，研究者和分析师可以更好地理解时间序列数据的内在结构和复杂性，从而提高预测模型的准确性和效率。