当前位置：首页 > news >正文

ML_SVM算法

news 来源：原创 2024/5/12 18:57:46

支持向量机（support vector machine）

背景;

　　深度学习（2012）出现之前，SVM被认为机器学习中近十几年来最成功的，表现最好的算法

机器学习的一般框架;

　　训练集=>提取特征向量=>结合一定的算法（分类器：比如决策树，KNN）=>得到结果

SVM寻找区分两类的超平面（hyper plane）,使边际（margin）最大

　　总共可以有多少个可能的超平面？无数条

　　如何选取使边际（margin）最大的超平面（max margin hyperplane）MMH

　　超平面到一侧最近点的距离等于到另一侧最近点点的距离，两侧的两个超平面平行

线性可区分（linear separable）和线性不可区分（linear inseparable）

定义与公式建立

　　超平面可以定义为：

n是特征值的个数

　　　　X：训练实例

　　　　b：bias偏向

假设2维特征向量：X=（X1,X2）

把b想象成额外的weight

超平面方程变为：

所有超平面右上方的点满足;

所有超平面左下方的点满足;

　　调整weight，使超平面定义边际的两边;

　　综合以上两式，得到;(1)

　　所有坐落在边际的两边的超平面上的点被称作“支持向量（support vectors）”

　　分界的超平面和H1或H2上任意一点的距离为

SVM如何找出最大边际的超平面呢（MMH）?

其中，yi是支持向量点X_i的类别标记　　　　X^T是要测试的实例

　　l是支持向量点的个数

　　根据得出符号的正负决定测试实例的归类

from sklearn import svm

x=[[2,0],[1,1],[2,3]]
y=[0,0,1]           #向量点的类别标记
clf=svm.SVC(kernel='linear')
clf.fit(x,y)           #算出超平面，保存在clf

print clf

#get support vectors
print clf.support_vectors

#get indices of support vectors   索引
print clf.support_

#get number of support vectors for each class
print clf.n_suppoart_

print clf.predict([2,0])

import numpy as np
import pylab   as pl
from sklearn import svm

#we creat 40 separable points 
np.random.seed(0)                     #让下次还随机产生同样的点
x=np.r_[np.random.randn(20,2)-[2,2],np.random.randn（20,2）+[2,2]]
y=[0]*20+[1]*20            

#fit the model
clf=svm.SVC(kernel='linear')
clf.fit(x,y)           #算出超平面，保存在clf

#get the separating hyperplane
w=clf.coef_[0]
a=-w[0]/w[1]         #直线的斜率
xx=np.linspace(-5,5)  #从-5到5产生连续的x的值
yy=a*xx-(clf.intercept_[0])/w[1]


#plot the parallels to the separating hyperplane that pass through the support vectors
b=clf.support_vectors[0]
yy_down=a*xx+(b[1]-a*b[0])
b=clf.support_vectors[-1]
yy_up=a*xx+(b[1]-a*b[0])


print "w: ",w
print "a: ",a
print "support_vectors_： ”，clf.support_vectors_
print "clf.coef_； ”，clf.coef_



#plot the line,the points, and the nearest vectors to the plane
pl.plot(xx,yy,'k-')
pl.plot(xx,yy_down,'k--')
pl.plot(xx,yy_up,'k--')

pl.scatter(clf.support_vectors_[:,0],clf.support_vectors_[:,1],
               s=80,facecolors='none')
pl.scatter(x[:. 0],x[:, 1],c=Y,cmap=pl.cm.paired)

pl.ais('tight')
pl.show（）