梯度消失和梯度爆炸
梯度消失和梯度爆炸是训练深层神经网络时常见的问题，它们会影响模型的收敛速度和性能。
梯度消失（Vanishing Gradient）
问题描述：
在反向传播过程中，梯度逐层传递，如果梯度非常小，经过多层网络后会变得非常微弱，导致前面的层几乎无法更新权重。这使得网络难以学习到长时间依赖关系。
原因：
- 激活函数：如sigmoid和tanh的导数在输入绝对值很大时会变得非常小。
- 权重初始化：不合适的权重初始化会导致梯度消失。
解决方法：
- 使用ReLU激活函数：ReLU的导数为1或0，可以缓解梯度消失问题。
- 权重初始化：使用适当的权重初始化方法，如He初始化或Xavier初始化。
- 归一化技术：Batch Normalization可以在每一层对输入进行归一化，缓解梯度消失问题。
- 特殊网络结构：如LSTM和GRU，这些结构专门设计用于处理长时间依赖关系。
梯度爆炸（Exploding Gradient）
问题描述：
在反向传播过程中，如果梯度非常大，经过多层网络后会变得非常大，导致权重更新过大，模型无法收敛甚至发散。
原因：
- 激活函数：如ReLU在输入很大时其导数仍然为1。
- 权重初始化：不合适的权重初始化会导致梯度爆炸。
解决方法：
- 梯度裁剪（Gradient Clipping）：在反向传播过程中对梯度进行裁剪，限制其值的范围。
- 权重初始化：使用适当的权重初始化方法，如He初始化或Xavier初始化。
- 归一化技术：Batch Normalization也有助于缓解梯度爆炸问题。