前向传播与反向传播
在神经网络中，前向传播（Forward Propagation）和反向传播（Backward Propagation）是两个关键步骤，它们在神经网络的训练过程中扮演着重要角色。下面分别介绍这两个步骤的目的和工作原理：
前向传播 (Forward Propagation)
目的
计算预测值: 前向传播的主要目的是根据当前模型的参数，计算网络对于输入数据的预测输出。
评估模型性能: 通过计算预测输出与真实标签之间的差距（损失），评估模型的性能。
工作原理
输入: 将输入数据传入网络的第一层。
层间计算: 每一层使用其权重和偏置参数对前一层的输出进行线性变换，然后应用激活函数。
输出: 最后一层产生预测输出。
损失计算: 使用损失函数（如均方误差损失、交叉熵损失等）计算预测输出与真实标签之间的差距。
反向传播 (Backward Propagation)
目的
计算梯度: 反向传播的主要目的是计算损失函数关于模型参数的梯度。
更新参数: 使用计算出的梯度来更新模型的权重和偏置参数。
工作原理
计算损失: 首先计算预测输出与真实标签之间的损失值。
梯度计算: 从输出层开始，通过链式法则计算损失函数关于每一层权重和偏置的梯度。
参数更新: 使用优化算法（如随机梯度下降、Adam 等）根据梯度更新每一层的权重和偏置。