当前位置：首页 > news >正文

机器学习第二课：神经网络结构和专业术语

news 来源：原创 2024/4/27 13:03:38

本文背景：主要介绍在机器学习过程会遇到的一些专业术语以及一些网络的基础结构。

一层网络为线性，二层至多层为非线性；

在这里插入图片描述

数据集

需要三组数据集

  训练算法的训练集； 跟踪算法学习效果的验证集； 用于产生最终结果的测试集。

在这里插入图片描述

贝叶斯法则处理概率计算，明确训练数据中最可能的类是什么，将所有类的最终结果考虑在内的方法称为贝叶斯最优分类。

权衡偏差与方差

偏差-方差困境：更复杂的模型不一定能产生更好的结果。模型糟糕可能有两个方面的原因：
```
  第一：模型不准确而与数据不匹配；----> "偏差"
  第二：模型不精确而有极大的不稳定性；------> "方差"
```
神经网络

模式识别： 将一系列的神经元放置在一起，假设数据存在模型，通过神经元的一些已知样例，我们希望它能够发现这种模型，并且正确预测其他样例，则称为"模式识别"。

感知器： 为了让神经网络能够学习，我们需要改变神经元的权重和阈值，进而得到正确的而结果，则称为"感知器"。
Hebb法则

突触连接强度的变化和两个相连神经元激活得相关性成比例，如果两个神经元始终同时激活，那么他们之间连接的强度会变大，反之，如果两个神经元从来不同时激活，那么他们之间的连接会消失。也被成为长时效增强法则和神经可塑性。

权重更新规则

Wij – sigma(yi – ti)*xi ===> Wij

  sigma: 学习效率，过大会造成网络不稳定，过小会造成学习时间久；
  Wij： 为权重;
  yi : 为神经元的预测值输出;
  ti:  为神经元的已经目标值;

感知器的学习算法

分为两部分：根据已知数据进行训练，然后对新的数据进行判断；
感知器收敛定理

感知器以1/γ*γ为界，其中γ为分离超平面与最接近的数据点之间的距离。

只要把数据映射到正确的维度空间，那么总是可以用一个线性函数来把两个类别区分开，为了较有效率的解决这个问题，有一整类的方法称为核分类器，也是支持向量机的基础。
线性可分性

一条直线将神经元激活的和不激活的神经元划分开来，这条直线称为决策边界，也称为判别函数，在三维空间该决策边界为平面，更高维则为超平面。
数据项预处理

特征选择，我们每次去掉一个不同的特征，然后试着在所得的输入子集上训练
分类器，看结果是否有所提高。

如果去掉某一个特征能使得结果有所改进，那么久彻底去掉他，在尝试能否去掉其他的特征，这是一个测试输出与每一个特征的相关性的过于简单方法。
线性回归

回归问题： 是用一条线去你和数据。

分类问题：是寻找一条线来划分不同类别。