二十四、【机器学习】【非监督学习】- 高斯混合模型 (Gaussian Mixture Models, GMM)
系列文章目录
第一章 【机器学习】初识机器学习
第二章 【机器学习】【监督学习】- 逻辑回归算法 (Logistic Regression)
第三章 【机器学习】【监督学习】- 支持向量机 (SVM)
第四章【机器学习】【监督学习】- K-近邻算法 (K-NN)
第五章【机器学习】【监督学习】- 决策树 (Decision Trees)
第六章【机器学习】【监督学习】- 梯度提升机 (Gradient Boosting Machine, GBM)
第七章 【机器学习】【监督学习】-神经网络 (Neural Networks)
第八章【机器学习】【监督学习】-卷积神经网络 (CNN)
第九章【机器学习】【监督学习】-循环神经网络 (RNN)
第十章【机器学习】【监督学习】-线性回归
第十一章【机器学习】【监督学习】-局部加权线性回归 (Locally Weighted Linear Regression, LWLR)
第十二章【机器学习】【监督学习】- 岭回归 (Ridge Regression)
十三、【机器学习】【监督学习】- Lasso回归 (Least Absolute Shrinkage and Selection Operator)
十四、【机器学习】【监督学习】- 弹性网回归 (Elastic Net Regression)
十五、【机器学习】【监督学习】- 神经网络回归
十六、【机器学习】【监督学习】- 支持向量回归 (SVR)
十七、【机器学习】【非监督学习】- K-均值 (K-Means)
十八、【机器学习】【非监督学习】- DBSCAN (Density-Based Spatial Clustering of Applications with Noise)十九、【机器学习】【非监督学习】- 层次聚类 (Hierarchical Clustering)二十、【机器学习】【非监督学习】- 均值漂移 (Mean Shift)
二十一、【机器学习】【非监督学习】- 谱聚类 (Spectral Clustering)
目录
系列文章目录
一、非监督学习
（一）、定义
（二）、训练流程
（三）、基本算法分类
二、 高斯混合模型 (Gaussian Mixture Models, GMM)
（一）、定义
（二）、基本概念
（三）、训练过程
（四）、特点
（五）、适用场景
（六）、扩展
三、总结
一、非监督学习
（一）、定义
非监督学习是一种机器学习方法，它处理的是没有标签的数据集。与监督学习不同，非监督学习算法不需要知道数据的正确分类或目标值。它的目标是通过数据内部的结构和模式来推断出有意义的信息，如数据的分布、聚类、降维或异常检测等。
（二）、训练流程
非监督学习的训练流程通常包含以下几个步骤：
-
数据准备：收集和预处理数据，可能包括数据清洗、缺失值处理、数据标准化或归一化等。
-
模型选择：根据问题的性质选择合适的非监督学习算法。
-
参数初始化：初始化模型的参数，这一步对于某些算法至关重要，如K-means聚类。
-
模型训练：使用无标签数据训练模型，寻找数据中的结构或模式。这一过程可能涉及到迭代优化，直到满足某个停止准则，如收敛或达到预定的迭代次数。
-
结果评估：评估模型的结果，这通常比监督学习更具有挑战性，因为没有明确的“正确答案”。评估可能基于内在指标（如聚类的紧凑度和分离度）或外在指标（如与已知分类的比较）。
-
应用模型：使用训练好的模型对新数据进行分析或预测，如对新数据进行聚类或降维。
（三）、基本算法分类
非监督学习算法可以大致分为以下几类：
-
聚类算法：用于将数据点分组到不同的簇中，常见的算法有K-means、层次聚类、DBSCAN、Gaussian Mixture Models等。
-
降维算法：用于减少数据的维度，同时尽可能保留数据的结构信息，常见的算法有PCA（主成分分析）、t-SNE（t-分布随机邻域嵌入）、自编码器等。
-
关联规则学习：用于发现数据集中项之间的关系，如Apriori算法和Eclat算法。
-
异常检测算法：用于识别数据集中的异常点或离群点，如Isolation Forest、Local Outlier Factor等。
-
自组织映射（SOM）：一种神经网络模型，用于数据可视化和聚类，可以将高维数据映射到低维空间中。
-
生成模型：如变分自编码器（VAE）和生成对抗网络（GAN），它们可以生成类似训练数据的新样本。
非监督学习在很多场景中都有广泛应用，如客户细分、图像识别、自然语言处理、生物信息学和推荐系统等。由于其灵活性和在处理大量未标注数据时的优势，非监督学习是数据科学和人工智能领域的重要组成部分。
二、 高斯混合模型 (Gaussian Mixture Models, GMM)
（一）、定义
高斯混合模型 (GMM) 是一种概率模型，它用来表示一组数据是由多个高斯分布（也称为正态分布）混合而成的概率分布。在许多实际应用中，数据往往不符合单一的高斯分布，而是由几个不同的高斯分布组成，GMM 就是用来拟合这类复杂数据分布的有效工具。
（二）、基本概念
- 混合成分：GMM 包含了多个高斯分布（混合成分），每个成分都有自己的均值 (𝜇𝑘)、协方差矩阵 (Σ𝑘) 和混合系数 (𝜋𝑘)。
- 混合系数：混合系数 𝜋𝑘 表示第 k 个高斯成分在总体分布中的相对重要性，满足
- 概率密度函数：GMM 的概率密度函数可以表示为各个高斯成分的加权和：
其中，𝑁(𝑥∣𝜇𝑘,Σ𝑘) 表示第 k 个高斯成分的概率密度函数，𝜃 表示所有参数的集合。
（三）、训练过程
GMM 的训练过程通常涉及使用期望最大化算法 (Expectation-Maximization, EM) 来估计模型的参数。EM 算法迭代地执行两个步骤：E 步和 M 步。
- E 步：计算每个样本属于各个高斯成分的后验概率（责任度，Responsibility），即给定数据点 𝑥 和当前参数估计下，该数据点属于第 k 个高斯成分的概率 𝑟𝑛𝑘。
- M 步：基于 E 步得到的责任度 𝑟𝑛𝑘，更新模型参数 𝜇𝑘, Σ𝑘, 和 𝜋𝑘。
EM 算法不断重复这两个步骤直到收敛，即参数的变化小于某个阈值或达到最大迭代次数。
（四）、特点
- 灵活性：GMM 可以很好地近似各种复杂的分布，并且能够捕捉数据中的多模态特性。
- 无监督学习：GMM 通常用于无监督学习任务，例如聚类分析、异常检测、数据生成等。
- 扩展性：GMM 可以与其他机器学习技术结合使用，如作为隐马尔可夫模型 (HMM) 中的状态观测模型。
（五）、适用场景
高斯混合模型 (GMM) 作为一种强大的统计工具，因其灵活性和强大的表达能力，在许多领域都有着广泛的应用。下面是一些具体的适用场景：
- 市场细分：企业可以使用 GMM 对客户数据进行聚类，从而发现不同的客户群体并制定相应的营销策略。
- 图像分割：在计算机视觉中，GMM 可以用于对图像的不同区域进行分割，例如将背景和前景分离。
- 网络监控：通过对正常网络流量建立 GMM 模型，可以检测出异常的流量模式，帮助发现潜在的安全威胁。
- 故障诊断：在工业自动化中，GMM 可以用来识别设备运行状态的异常变化，提前预警可能发生的故障。
- 合成数据：GMM 可以用来生成符合真实数据分布的新样本，这对于数据增强或隐私保护非常有用。
- 模拟环境：在模拟仿真中，GMM 能够创建逼真的环境模型，例如天气条件模拟等。
- 语音识别：GMM 经常被用作隐马尔可夫模型 (HMM) 的观测模型，以识别和分类语音信号。
- 生物医学信号分析：GMM 可以用于分析心电图 (ECG) 或脑电图 (EEG) 数据，识别不同的心跳类型或脑波活动。
- 用户行为分析：通过分析用户的购买历史和浏览行为，GMM 可以识别不同的用户偏好群组，从而提供个性化的商品推荐。
- 预训练模型：在一些深度学习任务中，可以先用 GMM 对数据进行初步建模，然后将这些模型作为预训练的一部分。
- 特征提取：GMM 可以用于提取数据的潜在特征，为后续的分类或回归任务提供更好的输入表示。
（六）、扩展
- 混合高斯过程 (Gaussian Process Mixture Models, GPMM)：结合高斯过程，用于回归和分类任务。
- 混合高斯隐马尔可夫模型 (Gaussian Mixture Hidden Markov Model, GM-HMM)：在语音识别等领域中用于建模序列数据。
- 混合高斯状态空间模型 (Gaussian Mixture State Space Models, GMSSM)：用于时间序列分析和系统建模。
三、总结
GMM 是一种强大的工具，在很多领域都有广泛的应用，如自然语言处理、计算机视觉、生物信息学等。
