DataWhale - 吃瓜教程学习笔记（一）
学习视频：第1章-绪论_哔哩哔哩_bilibili
西瓜书对应章节： 第一章
机器学习三观
What：什么是机器学习？
关键词：“学习算法”
Why: 为什么要学机器学习？
#### 1. 机器学习理论研究#### 2. 机器学习系统开发#### 3. 机器学习算法迁移 （AI+）#### 4. AI 应用方向研究：NLP, CV, 推荐系统
How: 怎样学习深度学习？
#### - 纯理论研究
#### - 系统的开发
#### - 算法迁移 （AI for Science)
#### - AI 应用方向研究
基础核心知识概念
假设空间 & 版本空间
假设空间定义了所有可能的解决方案；版本空间则是在考虑了训练数据后，认为可能正确的解决方案的集合
算法
从数据中学得模型的“具体方法”，其产出结果称为“模型”
样本（示例）
关于一个事件或对象的描述。用向量进行表示，向量中的各个维度称为“特征”或“属性“。向量中的元素用分号 ";" 表示为列向量，用逗号 ","表示为行向量。
标记
学习样本在某方面的表现存在潜在规律的的信息。
样本空间 & 标记空间
所有可能的输入数据或特征向量的集合；
所有可能的输出标签或目标值的集合
机器学习任务分类 （根据标记取值类型不同）
- 标记取值为“离散型”， 任务为 分类
- 标记取值为 “连续型”， 任务为 回归
机器学习任务分类 （根据是否用到标记信息）
- 训练阶段有用到标记信息，此类任务为 “监督学习”
- 训练阶段没用到标记信息，此类任务为 “无监督学习”
数据集
- 通常用集合表示
- 一般同一份数据集中的每个样本都含相同个数的特征
- 样本 $x_{ij}$ 表示样本 $x_i$ 在第 j 个属性上的取值
泛化
模型对未在训练过程中见过的数据进行准确预测的能力
分布
概率论中的概率分布。
归纳偏好
不同的机器学习算法有不同的偏好- 最常用的评价方法是 - 基于模型在测试集上的表现评判模型的优劣。
- 机器学习算法没有绝对的优劣之分，只有是否适合当前待解决问题之分。
**没有免费的午餐定理（NFL)**: 众算法生而平等（哪个算法训出来的模型在测试集上表现好哪个算法 nb）。
数据决定模型的上限，算法则是让模型无限逼近上限
- 数据决定模型的上限
数据是指从 数据量 和 特征工程 两个角度考虑
- 通常数据量越大模型效果越好
- 通常对特征数值化越合理，特征收集越全越细致，模型效果通常越好
