【Python机器学习】支持向量机——手写数字识别问题
基于SVM的数字识别步骤:
1、收集数据:提供的文本文件
2、准备数据:基于二值图像构造向量
3、分析数据:对图像向量进行目测
4、训练算法:采用两种不同的核函数,并对径向基核函数采用不同的设置来运行SMO算法
5、测试算法:编写一个函数来测试不同的核函数并计算错误率
6、使用算法:一个图像识别的完整应用还需要一些图像处理的知识。
构建一个系统去测试手写数字上的分类器:
def img2vector(filename):returnVect=zeros((1,1024))fr=open(filename)for i in range(32):lineStr=fr.readline()for j in range(32):returnVect[0,32*i+j]=int(lineStr[j])return returnVectdef loadImages(dirName):from os import listdirhwLabels=[]trainingFileList=listdir(dirName)m=len(trainingFileList)trainingMat=zeros((m,1024))for i in range(m):fileNameStr=trainingFileList[i]fileStr=fileNameStr.split('.')[0]classNumStr=int(fileStr.split('_')[0])if classNumStr==9:hwLabels.append(-1)else:hwLabels.append(1)trainingMat[i,:]=img2vector('%s/%s'%(dirName,fileNameStr))return trainingMat,hwLabelsdef testDigits(kTup=('rbf',10)):dataArr,labelArr=loadImages('trainingDigits')b,alphas=svm_11.smoP(dataArr,labelArr,200,0.0001,10000,kTup)dataMat=mat(dataArr)labelMat=mat(labelArr).transpose()svInd=nonzero(alphas.A>0)[0]sVs=dataMat[svInd]labelSV=labelMat[svInd]print('there are %d Support Vectors' % shape(sVs)[0])m,n=shape(dataMat)errorCount=0for i in range(m):kernelEval=svm_11.kernelTrans(sVs,dataMat[i,:],kTup)predict=kernelEval.T*multiply(labelSV,alphas[svInd])+bif sign(predict)!=sign(labelArr[i]):errorCount=errorCount+1print('训练集错误率:',(float(errorCount)/m))dataArr,labelArr=loadImages()errorCount = 0dataMat=mat(dataArr)labelMat=mat(labelArr).transpose('testDigits')m,n=shape(dataMat)for i in range(m):kernelEval = svm_11.kernelTrans(sVs, dataMat[i, :], kTup)predict = kernelEval.T * multiply(labelSV, alphas[svInd]) + bif sign(predict) != sign(labelArr[i]):errorCount = errorCount + 1print('测试集错误率:', (float(errorCount) / m))testDigits()
函数loadImages()是作为k近邻算法中的一部分出现的。它已经被重构为自身的一个函数。其中最大的区别在于,支持向量机中类别标签为-1和+1,,因此,一旦碰到数字9,则输出类别标签-1,否则输出+1,。本质上,支持向量机是一个二类分类器,其分类结果不是+1就是-1。
testDigits()和testRbf()几乎一样,区别在于它调用了loadImages()函数来获得类别标签和数据。kTup是输入参数。
上述代码运行结果: