Pytorch 自动求导的设计与实现
转载：Automatic Differentiation Tutorial
文章目录
- 简介
- 自动求导设计
- 自动求导实现
- 一个例子
- 总结
简介
梯度下降（Gradient Descent）及其衍生算法是神经网络训练的基础，梯度下降本质上就是求解损失关于网络参数的梯度，不断计算这个梯度对网络参数进行更新。现代的神经网络框架都实现了自动求导的功能，只需要要定义好网络前向计算的逻辑，在运算时自动求导模块就会自动把梯度算好，不用自己手写求导梯度。
笔者在之前的 一篇文章中讲解和实现了一个迷你的神经网络框架 tinynn，在 tinynn 中我们定义了网络层 layer 的概念，整个网络是由一层层的 layer 叠起来的（全连接层、卷积层、激活函数层、Pooling 层等等），如下图所示：
在实现的时候需要显示为每层定义好前向 forward 和反向 backward（梯度计算）的计算逻辑。从本质上看这些 layer 其实是一组基础算子的组合，而这些基础算子（加减乘除、矩阵变换等等）的导函数本身