当前位置：首页 > news >正文

【机器学习】之 K-最近邻（KNN）算法原理及实现

news 来源：原创 2024/9/29 13:32:49

K-最近邻（K-Nearest Neighbors, KNN）是一种简单且直观的监督学习算法，广泛应用于分类和回归任务。本文将介绍KNN算法的基本概念、实现细节以及Python代码示例。

基本概念

KNN算法的核心思想是：给定一个测试样本，根据其在特征空间中与训练样本的距离，找到距离最近的K个训练样本（邻居），然后通过这些邻居的标签来决定测试样本的标签。在分类任务中，KNN通过对K个邻居的标签进行投票，选择出现次数最多的标签作为预测结果；在回归任务中，KNN通过对K个邻居的标签进行平均来预测结果。

算法步骤

计算距离：计算测试样本与每个训练样本之间的距离。
选择最近的K个邻居：根据距离选择K个最近的训练样本。
投票：在K个最近邻居中，选择出现次数最多的类别作为预测结果。

距离度量

在KNN算法中，通常使用欧氏距离（Euclidean Distance）来度量样本之间的距离。

实现代码

下面是一个使用 numpy 实现的 KNN 分类器的示例代码：

import numpy as np
from collections import Counterclass KNN:def __init__(self, k=3):self.k = kdef fit(self, X_train, y_train):"""训练KNN分类器，保存训练数据。参数：- X_train: 训练样本特征，形状 (num_samples, num_features)- y_train: 训练样本标签，形状 (num_samples,)"""self.X_train = X_trainself.y_train = y_traindef predict(self, X_test):"""对测试样本进行预测。参数：- X_test: 测试样本特征，形状 (num_samples, num_features)返回值：- y_pred: 预测标签，形状 (num_samples,)"""y_pred = [self._predict(x) for x in X_test]return np.array(y_pred)def _predict(self, x):"""对单个测试样本进行预测。参数：- x: 单个测试样本特征，形状 (num_features,)返回值：- 预测标签"""# 计算所有训练样本与测试样本之间的距离distances = np.linalg.norm(self.X_train - x, axis=1)# 获取距离最近的k个训练样本的索引k_indices = np.argsort(distances)[:self.k]# 获取k个最近邻居的标签k_nearest_labels = [self.y_train[i] for i in k_indices]# 返回出现次数最多的标签most_common = Counter(k_nearest_labels).most_common(1)return most_common[0][0]# 示例用法
if __name__ == "__main__":# 创建示例数据X_train = np.array([[1, 2], [2, 3], [3, 4], [6, 7], [7, 8], [8, 9]])y_train = np.array([0, 0, 0, 1, 1, 1])X_test = np.array([[2, 3], [3, 5], [8, 8]])# 创建KNN实例knn = KNN(k=3)knn.fit(X_train, y_train)predictions = knn.predict(X_test)print("测试样本预测结果:", predictions)

代码解释

初始化：
- __init__ 方法初始化KNN分类器，并设置K值。
训练模型：
- fit 方法保存训练样本的特征和标签，供后续预测使用。
预测：
- predict 方法对一组测试样本进行预测，返回预测标签。
- _predict 方法对单个测试样本进行预测：
  - 计算测试样本与每个训练样本之间的欧氏距离。
  - 找到距离最近的K个训练样本的索引。
  - 获取K个最近邻居的标签。
  - 返回出现次数最多的标签作为预测结果。
示例用法：
- 创建示例训练数据和测试数据。
- 实例化KNN分类器，并设置K值为3。
- 调用 fit 方法训练模型。
- 调用 predict 方法对测试样本进行预测，并输出预测结果。