机器学习知识点全面总结
一、机器学习基础概念
1、什么是机器学习
机器学习是一种人工智能技术，通过对数据的学习和分析，让计算机系统自动提高其性能。简而言之，机器学习是一种从数据中学习规律和模式的方法，通过数据来预测、分类或者决策。
机器学习的本质就是找到一个能无限接近需求的一个函数。
2、怎样找到这个函数
最基本的步骤如下：
①定一个函数集合
②判断函数的好坏
③选择最好的函数
3、机器学习三要素
①首先设计模型model
②通过各种方式判断模型的好坏
③根据需求，选择最好的函数，并不断优化模型
修改模型，增加数据维度
增加正则因子，使函数更加平滑，让参数w取值更小。（x变化较小时，整个函数结果 不会变化太大，结果更准）
4、机器学习的分类
监督学习：有数据标注情况下学习（回归、分类）
半监督学习：训练数据中带标记的数据不够多
迁移学习：在已学习基础上，做看似和以前学习不相关的事情，但实际效果很好（如在猫狗识别基础识别大象老虎等）
无监督学习：没有具体标注数据的情况下学习（机器阅读、机器绘画）
结构化学习：超越简单的回归和分类，产生结构化的结果（如图片、语言、声音）
二、处理一个机器学习问题的基本步骤
- 数据收集：首先需要收集数据并将其转化为可以计算的形式，例如数值、文本或图像等。
- 数据预处理：数据收集后，需要对数据进行清洗、去除异常值、缺失值处理、特征选择等预处理步骤。
- 特征工程： 是指在机器学习中对原始数据进行转换、组合和选择等处理，以提取更有用的特征或属性，以帮助机器学习算法更好地理解和处理数据。简而言之，特征工程就是对原始数据进行预处理，以提取有用信息来辅助机器学习。
- 模型选择：根据问题的特点和数据的特征选择适合的机器学习算法和模型。
- 模型训练（机器学习）：利用已有数据对所选的机器学习模型进行训练，从而使模型能够学习数据中的规律和模式。
- 模型评估：训练完成后，需要对模型进行评估和调整，以检查其性能和精度，并进行优化。
- 模型应用：经过训练和优化后，机器学习模型可以用于新数据的预测、分类、聚类等任务。
三、机器学习算法总结
1、监督学习（SupervisedLearning）
有类别标签的学习，基于训练样本的输入、输出训练得到最优模型，再使用该模型预测新输入的输出；
代表算法：决策树、朴素贝叶斯、逻辑回归、KNN、SVM、神经网络、随机森林、AdaBoost、遗传算法；
2、半监督学习（Semi-supervisedLearning）
同时使用大量的未标记数据和标记数据，进行模式识别工作；
代表算法：self-training(自训练算法)、generative models生成模型、SVMs半监督支持向量机、graph-basedmethods图论方法、 multiviewlearing多视角算法等；
3、无监督学习（UnsupervisedLearning）
无类别标签的学习，只给定样本的输入，自动从中寻找潜在的类别规则；
代表算法：主成分分析方法PCA等，等距映射方法、局部线性嵌入方法、拉普拉斯特征映射方法、黑塞局部线性嵌入方法、局部切空间排列方法等；
4、判别模型(discriminative model)
已知输入变量x，通过求解条件概率分布P(y|x)或者直接计算y的值来预测y。
例如：
- 线性回归（Linear Regression）
- 逻辑回归（Logistic Regression）
- 支持向量机（SVM）
- 传统神经网络（Traditional Neural Networks）
- 线性判别分析（Linear Discriminative Analysis）
- 条件随机场（Conditional Random Field）
5、生成模型（generative model）
已知输入变量x，通过对观测值和标注数据计算联合概率分布P(x,y)来达到判定估算y的目的。
例如：
- 朴素贝叶斯（Naive Bayes）
- 隐马尔科夫模型（HMM）
- 贝叶斯网络（Bayesian Networks）
- 隐含狄利克雷分布（Latent Dirichlet Allocation）
四、算法详解
1、KNN（K近邻算法）
（1）定义
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
（2）算法流程
1）计算已知类别数据集中的点与当前点之间的距离
2）按距离递增次序排序
3）选取与当前点距离最小的k个点
4）统计前k个点所在的类别出现的频率（
分类：样本出现最多个数回归：K个杨样本的平均值）5）返回前k个点出现频率最高的类别作为当前点的预测分类
（3）注意点
① K值选择
K值的减小就意味着整体模型变得复杂，容易发生过拟合；
K值的增大就意味着整体模型变得简单，容易发生欠拟合；
注：实际应用中，K值一般取一个比较小的数值，例如采用交叉验证来选择最优的K值。
② 误差估计
近似误差：对训练集的训练误差，关注训练集，近似误差小可能出现过拟合。
估计误差：对测试集的测试误差，关注测试集，估计误差小说明对未知数据的预测能力好。
（4）K近邻实现
- 线性扫描（穷举搜索）
计算输入实例与每一个训练实例的距离。计算后再查找K近邻。当训练集很大时，计算非常耗时。
- KD树
①一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构
②kd树是一种二叉树，表示对k维空间的一个划分，构造kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分，构成一系列的K维超矩形区域。kd树的每个结点对应于一个k维超矩形区域。
③利用kd树可以省去对大部分数据点的搜索，从而减少搜索的计算量。
- 距离计算
①欧式距离(Euclidean Distance)
②曼哈顿距离(Manhattan Distance)
③切比雪夫距离 (Chebyshev Distance)
（5）实例
# -*- coding: UTF-8 -*-
import numpy as np
import operator
import collections"""
函数说明:创建数据集Parameters:无
Returns:group - 数据集labels - 分类标签
Modify:2017-07-13
"""def createDataSet():# 四组二维特征group = np.array([[1, 101], [5, 89], [108, 5], [115, 8]])# 四组特征的标签labels = ['爱情片', '爱情片', '动作片', '动作片']return group, labels"""
函数说明:kNN算法,分类器Parameters:inX - 用于分类的数据(测试集)dataSet - 用于训练的数据(训练集)labes - 分类标签k - kNN算法参数,选择距离最小的k个点
Returns:sortedClassCount[0][0] - 分类结果"""def classify0(inx, dataset, labels, k):# 计算距离dist = np.sum((inx - dataset) ** 2, axis=1) ** 0.5# k个最近的标签k_labels = [labels[index] for index in dist.argsort()[0: k]]# 出现次数最多的标签即为最终类别label = collections.Counter(k_labels).most_common(1)[0][0]return labelif __name__ == '__main__':# 创建数据集group, labels = createDataSet()# 测试集test = [101, 20]# kNN分类test_class = classify0(test, group, labels, 3)# 打印分类结果print(test_class)
2、线性回归
（1）定义
利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
