【深度学习】S2 数学基础 P4 微积分（下）偏导数与链式法则
目录
- 深度学习与微积分
- 偏导数
- 链式法则
深度学习与微积分
总结来说，深度学习的核心在于优化；优化的重点在于降低损失值；降低损失值需要通过反向梯度下降；而微积分，判断的就是梯度下降的方向和大小。
铺开来说，深度学习的核心目标是通过优化过程来训练模型，以便在给定输入数据时能够产生准确的预测。而为了评估模型的性能并指导优化过程，我们定义了一个 损失函数。它量化了模型的预测与真实值之间的不一致程度。
优化过程的关键在于找到一组模型参数，使得损失函数的值最小。这通常通过 梯度下降 算法实现，其中 “梯度” 就是损失函数对模型参数的导数。梯度指向损失增加最快的方向，因此，为了最小化损失函数，我们选择与梯度相反的方向进行更新，这就是所谓的 “反向梯度下降”。
在这个过程中，导数（或者说梯度）的重要性在于：
- 方向：导数指示了损失函数下降最快的方向，即梯度的反方向是损失减少的方向。
- 大小：导数的绝对值表示了损失函数在该方向上下降的速率，即参数更新的大小。
因此，通过计算损失函数对每个参数的导数（梯度），我们可以调整模型参数，以减少损失函数的值，从而训练出性能更好的模型。而自动微分，使得这个过程变得自动化和高效。开发者可以专注于模型结构和数据处理，而不必手动计算复杂的导数。关于自动微分，将在后续博文单开章节进行阐述。
在本篇文章中，我们将关注于微积分的一些核心概念，特别是 偏导数 和 链式法则 这两个关键原理。
偏导数
深度学习函数依赖于许多变量。在博文微积分（上）中，只单纯讨论了导数与微分之于深度学习的重要性。但是实践上看，我们需要将微分的思想推广到多元函数上。
e . g . e.g. e.g. 假设 y = f ( x 1 , x 2 , . . . , x n ) y = f(x_1, x_2, ..., x_n) y=f(x1,x2,...,xn) 是一个具有 n n n 个变量的函数， y y y 关于第 i i i 个参数 x i x_i xi 的偏导数为：
d y d x i = lim h → 0 f ( x 1 , . . . , x i − 1 , x i + h , x i + 1 , . . . , x n ) − f ( x 1 , . . . , x i , . . . , x n ) h \frac {dy} {dx_i}=\lim _{h \to 0} \frac {f(x_1, ..., x_{i-1}, x_i+h, x_{i+1}, ..., x_n) - f(x_1, ..., x_i, ..., x_n)} {h} dxidy=h→0limhf(x1,...,xi−1,xi+h,xi+1,...,xn)−f(x1,...,xi,...,xn)
而为了计算 d y d x i \frac {dy} {dx_i} dxidy，我们可以简单地将 x 1 , . . . , x i − 1 , x i + 1 , . . . , x n x_1, ..., x_{i-1}, x_{i+1}, ..., x_n x1,...,xi−1,xi+1,...,xn 看作常数，并计算 y y y 关于 x i x_i xi 的导数。
链式法则
在深度学习中，神经网络由多个层组成，每个层的输出又作为下一层的输入。链式法则允许我们将复杂的导数问题分解为多个简单的导数问题。通过链式法则，我们可以从输出层的损失函数反向传播梯度到网络的每一层，从而计算出每个权重的偏导数。
链式传播简单公式：
d y d x = d y d x d u d x \frac {dy} {dx}=\frac {dy} {dx} \frac {du} {dx} dxdy=dxdydxdu
关于链式法则的实践，将在后续博文中进行展现。
如有任何疑问，请联系或留言。
2024.2.14