AI基础 -- 练手之预测耗时方案
预测耗时的方案
1. 初始化权重
计算初始权重 w w w：
w = a 2 − a 1 1 w = \frac{a2 - a1}{1} w=1a2−a1
2. 预测值
使用权重和实际值 a 2 a2 a2 来计算预测值 y 3 y3 y3：
y 3 = w ⋅ 1 + a 2 y3 = w \cdot 1 + a2 y3=w⋅1+a2
3. 损失函数
计算预测值 y 3 y3 y3 与实际值 a 3 a3 a3 之间的损失：
常见的损失函数为均方误差（MSE），即：
MSE = ( y 3 − a 3 ) 2 \text{MSE} = (y3 - a3)^2 MSE=(y3−a3)2
4. 更新权重
4.1 损失函数对权重的偏导数
首先，对损失函数 MSE \text{MSE} MSE 关于权重 w w w 的偏导数进行求解：
MSE = ( y 3 − a 3 ) 2 \text{MSE} = (y3 - a3)^2 MSE=(y3−a3)2
计算 y 3 y3 y3 对 w w w 的导数：
y 3 = w ⋅ 1 + a 2 y3 = w \cdot 1 + a2 y3=w⋅1+a2
∂ y 3 ∂ w = 1 \frac{\partial y3}{\partial w} = 1 ∂w∂y3=1
使用链式法则计算均方误差损失函数对权重的偏导数：
∂ MSE ∂ w = 2 ⋅ ( y 3 − a 3 ) ⋅ ∂ y 3 ∂ w \frac{\partial \text{MSE}}{\partial w} = 2 \cdot (y3 - a3) \cdot \frac{\partial y3}{\partial w} ∂w∂MSE=2⋅(y3−a3)⋅∂w∂y3
代入 ∂ y 3 ∂ w = 1 \frac{\partial y3}{\partial w} = 1 ∂w∂y3=1：
∂ MSE ∂ w = 2 ⋅ ( y 3 − a 3 ) ⋅ 1 \frac{\partial \text{MSE}}{\partial w} = 2 \cdot (y3 - a3) \cdot 1 ∂w∂MSE=2⋅(y3−a3)⋅1
∂ MSE ∂ w = 2 ⋅ ( y 3 − a 3 ) \frac{\partial \text{MSE}}{\partial w} = 2 \cdot (y3 - a3) ∂w∂MSE=2⋅(y3−a3)
4.2 更新权重
使用梯度下降法更新权重 w w w：
w = w − η ⋅ ∂ MSE ∂ w w = w - \eta \cdot \frac{\partial \text{MSE}}{\partial w} w=w−η⋅∂w∂MSE
代入偏导数：
w = w − η ⋅ ( 2 ⋅ ( y 3 − a 3 ) ) w = w - \eta \cdot (2 \cdot (y3 - a3)) w=w−η⋅(2⋅(y3−a3))
其中 η \eta η 是学习率。
4.3 学习率的选取
学习率 η \eta η 是控制每次权重更新幅度的超参数。选择合适的学习率非常重要：
- 过小的学习率：收敛速度慢，可能导致训练时间过长。
- 过大的学习率：可能导致训练不稳定，甚至发散。
选择学习率的一些建议：
- 实验法：从一个较小的值开始（如 0.01 或 0.001），然后逐步增加，观察损失函数的变化。
- 学习率调度：可以使用学习率衰减策略，在训练过程中逐渐减小学习率，以提高训练稳定性和收敛效果。
4.4 评估学习效果
学习过程完成的标志包括：
- 损失函数收敛：损失函数值趋于稳定，变化幅度变小。可以设置一个阈值（如损失值变化小于 0.001）来判断收敛。
- 预测精度：预测值与实际值的差异变小。可以使用均方误差（MSE）或其他评价指标来评估预测精度。
- 验证集表现：如果使用了验证集，则验证集上的损失函数值趋于稳定，且不再显著下降，说明模型的学习效果良好。