【AI原理解析】—支持向量机原理
目录
1. 支持向量机（SVM）概述
2. 超平面与支持向量
3. 间隔最大化
4. 优化问题
5. 核函数
6. 总结
1. 支持向量机（SVM）概述
- 定义：支持向量机是一种监督学习模型，主要用于数据分类问题。其基本思想是通过一个超平面来分割数据点，使得不同类别的数据点位于超平面的两侧。
- 分类：支持向量机主要分为三类：线性可分支持向量机、线性支持向量机和非线性支持向量机。
2. 超平面与支持向量
- 超平面：在n维空间中，超平面是一个n-1维的子空间。在二维空间中，它是一个直线；在三维空间中，它是一个平面。超平面可以表示为 w^T * x + b = 0，其中w是法向量，b是截距，x是样本点。
- 支持向量：距离超平面最近的样本点称为支持向量。这些点对确定超平面的位置起着决定性作用。
3. 间隔最大化
- 函数间隔：对于给定的训练集和超平面，样本点 (x_i, y_i) 到超平面的函数间隔为 r_i = y_i(wT * x_i + b)。但是，当w和b成比例变化时，函数间隔也会成比例变化。
- 几何间隔：为了消除这种影响，引入了几何间隔。样本点 (x_i, y_i) 到超平面的几何间隔为 γ_i = y_i((w / ||w||) * x_i + b / ||w||)。其中 ||w|| 是w的范数。
- 目标：SVM的目标是找到一个超平面，使得训练集上所有样本点的几何间隔最大。这可以转化为一个优化问题，即最大化几何间隔。
4. 优化问题
- 优化目标：最小化 ||w||2 / 2，同时满足约束条件 y_i(wT * x_i + b) ≥ 1（对于所有样本点）。这是一个凸二次规划问题。
- 求解：通过拉格朗日乘子法将原始问题转化为对偶问题，并利用SMO算法求解。最终得到的是w和b的最优解，从而确定最优超平面。
5. 核函数
- 非线性分类：对于非线性可分的数据，SVM通过引入核函数将数据映射到高维空间，使得数据在高维空间中线性可分。
- 常用核函数：包括线性核、多项式核、高斯核等。选择合适的核函数对于SVM的性能至关重要。
6. 总结
- 支持向量机通过找到一个最优超平面来实现对数据的分类。该超平面由支持向量确定，并且使得训练集上所有样本点的几何间隔最大。
- 对于非线性可分的数据，SVM通过引入核函数将数据映射到高维空间，实现非线性分类。
- SVM具有泛化能力强、对高维数据有效等优点，在许多领域都有广泛的应用。