损失函数与反向传播

一、损失函数

例子：

loss的值越小越好，根据loss提高输出，神经网络根据loss的值不断的训练。计算实际输出与目标之间的差距，2、为更新输出提供一定的依据（反向传播）

二、损失函数代码

在代码运行中，出现如下问题got long:

RuntimeError: mean(): could not infer output dtype. Input dtype must be either a floating point or complex dtype. Got: Long

需要加入的语句是加入dtype = torch.float32语句：

input = torch.tensor([1, 2, 3], dtype=torch.float32)
targets = torch.tensor([1, 2, 5], dtype=torch.float32)

 完整代码如下：

import torch
from torch.nn import L1Loss, MSELoss
# 防止自己写错的办法
from torch import nninput = torch.tensor([1, 2, 3], dtype=torch.float32)
targets = torch.tensor([1, 2, 5], dtype=torch.float32)# 将输入input转化为，形状为1 batch_size,1 chanel,1 行 3列
inputs = torch.reshape(input, (1, 1, 1, 3))
targets = torch.reshape(targets, (1, 1, 1, 3))# 损失函数是L1Loss
# 默认是做平均为0.667，也可以设置参数做和为2.0
loss = L1Loss(reduction="sum")
result = loss(inputs, targets)
print(result)# 损失函数是MSELoss,平方差
loss_MSE = nn.MSELoss()
result_mse = loss_MSE(inputs, targets)
print(result_mse)# 交叉熵 batch_size等于1，class等于3，表示3个类
x = torch.tensor([0.1, 0.2, 0.3])
y = torch.tensor([1])
# 将x变成满足条件的(N, C)结构，输入为x
x = torch.reshape(x, [1, 3])
# 交叉熵
loss_cross = nn.CrossEntropyLoss()
result = loss_cross(x, y)
print(result)

三、神经网络预测

再例如，放入到之前的神经网络中处理，对图片进行预测：

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10('../datas', train=False, download=True, transform=torchvision.transforms.ToTensor())
dataloader = DataLoader(dataset, batch_size=1)class SUN(nn.Module):def __init__(self):super(SUN, self).__init__()self.model1 = Sequential(Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 2, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self, x): x =self.model1(x)return xsun = SUN()
for data in dataloader:imgs, targets = dataoutputs = sun(imgs)print(outputs)print(targets)

输出的结果是：

第一个tensor数据是图片的概率，其中概率最大的是第四张图像。预测出图像是第四张图片的类别。

四、与损失函数的误差

使用损失函数在最后一部分：

loss = nn.CrossEntropyLoss()sun = SUN()
for data in dataloader:imgs, targets = dataoutputs = sun(imgs)result = loss(outputs, targets)print(result)

输出结果，表示神经网络的输出与真实网络的输出误差：

五、反向传播

对于神经网络来说，每一个卷积和中的每一个参数就是我们送需要调节的，给每一个卷积核的参数都设置了一个grad。每一个节点，每一个参数都会提供一个grad。在优化过程中，就会根据grad来进行优化。实现对整个loss降低的目的。

将上述的代码进行debug查看grad：

将断点打在backward处。

如何使用debug:

点击小虫子，运行结束后，出现各个变量；

选择自己搭建的神经网络；

选择Module;

选择私密属性；

选择modules;

点进变量去；

可以查看到grad=None

运行下一句，按上述按钮，出现，grad的参数值。