交叉验证python代码_python机器学习,交叉验证
这是个正常的knn训练
from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
iris = load_iris()
X = iris.data
y = iris.target
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=4)
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X_train,y_train)
y_pred = knn.predict(X_test)
print(knn.score(X_test,y_test))
结果：
0.973684210526以上的代码意思是加载一个数据集,然后用train_test_split方法进行随机划分训练集和测试集
然后用knn算法进行训练得出模型的得分
以上方法有一个不足之处就是没有充分利用数据集,而且模型的效果根样本的划分有很大的关系,因此模型的好坏带了随机性.
交叉验证概述
将原始数据分成K组(一般是均分),将每个子集数据分别做一次验证集,其余的K-1组子集数据作为训练集,这样会得到K个模型,用这K个模型最终的验证集的分类准确率的平均数作为此K-CV下分类器的性能指标.K一般大于等于2,实际操作时一般从3开始取,只有在原始数据集合数据量小的时候才会尝试取2. 而K-CV 的实验共需要建立 k 个models，并计算 k 次 test sets 的平均辨识率。在实作上，k 要够大才能使各回合中的 训练样本数够多，一般而言 k=10 (作为一个经验参数)算是相当足够了。
改进上面的代码
from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
iris = load_iris()
X = iris.data
y = iris.target
from sklearn.cross_validation import cross_val_score
knn = KNeighborsClassifier(n_neighbors=5)
#会随机的分成5份训练集和测试集
scores = cross_val_score(knn,X,y,cv=5,scoring='accuracy')
print(scores)
print(scores.mean())
几组训练集的训练得分结果
[ 0.96666667 , 1. , 0.93333333 , 0.96666667 , 1. ]
用一个平均得分来衡量
0.973333333333
利用cross_val_score调整参数
在上面的例子中用knn模型来训练数据,模型中n_neighbors的参数我们写了n_neighbors=5,但是事实上我们不知道等于5是不是最好的选择,在这种情况下面我们可以用for循环结合交叉验证cross_val_score,选择最好的参数方法,如下面代码
from sklearn.cross_validation import cross_val_score
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
iris = load_iris()
X = iris.data
y = iris.target
k_range = range(1,31)
k_scorews = []
for k in k_range:
knn = KNeighborsClassifier(n_neighbors=k)
scores = cross_val_score(knn,X,y,cv=10,scoring='accuracy')
loss = -cross_val_score(knn,X,y,cv=10,scoring='mean_squared_error')
k_scorews.append(scores.mean())
plt.plot(k_range,k_scorews)
plt.xlabel('Value of K for KNN')
plt.ylabel('Cross-Validated Accuracy')
plt.show()
结果如下
可以看出n_neighbors在13到20的区间得分是最高的,因此我们可以调整参数为
KNeighborsClassifier(n_neighbors=13)