03.3线性回归的简洁实现
文章目录
- 3.3线性回归的简洁实现
- 3.3.1. 生成数据集
- 3.3.2 读取数据集
- 3.3.3. 定义模型
- 3.3.4. 初始化模型参数
- 3.3.5. 定义损失函数
- 3.3.6. 定义优化算法
- 3.3.7. 训练
- 3.3.8 小结
3.3线性回归的简洁实现
3.3.1. 生成数据集
import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l
true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)
3.3.2 读取数据集
将features和labels作为API的参数传递,并通过数据迭代器指定batch_size。 此外,布尔值is_train表示是否希望数据迭代器对象在每个迭代周期内打乱数据。
def load_array(data_arrays, batch_size, is_train=True): #@save
"""构造一个PyTorch数据迭代器"""
dataset = data.TensorDataset(*data_arrays)
return data.DataLoader(dataset, batch_size, shuffle=is_train)
batch_size = 10
data_iter = load_array((features, labels), batch_size)
next(iter(data_iter))
[tensor([[ 0.7882, -0.7068],
[ 0.5081, 0.2577],
[-0.5769, 0.1545],
[-0.3271, -0.6080],
[-0.2716, -1.4628],
[-1.1530, -1.4643],
[ 0.1635, -0.2018],
[-0.0753, -1.1161],
[ 3.4251, 0.1953],
[ 0.3589, -0.9478]]),
tensor([[ 8.1742],
[ 4.3357],
[ 2.5157],
[ 5.6106],
[ 8.6395],
[ 6.8726],
[ 5.2155],
[ 7.8377],
[10.3918],
[ 8.1590]])]
3.3.3. 定义模型
- 首先定义一个模型变量net,它是一个Sequential类的实例。 Sequential类将多个层串联在一起。 当给定输入数据时,Sequential实例将数据传入到第一层
- 然后将第一层的输出作为第二层的输入,以此类推。
在下面的例子中,我们的模型只包含一个层,因此实际上不需要Sequential。
但是由于以后几乎所有的模型都是多层的,在这里使用Sequential会让你熟悉“标准的流水线”。
# nn是神经网络的缩写
from torch import nn
net = nn.Sequential(nn.Linear(2, 1))
在PyTorch中,全连接层在Linear类中定义。 值得注意的是,我们将两个参数传递到nn.Linear中。 第一个指定输入特征形状,即2,第二个指定输出特征形状,输出特征形状为单个标量,因此为1。
3.3.4. 初始化模型参数
指定每个权重参数应该从均值为0、标准差为0.01的正态分布中随机采样, 偏置参数将初始化为零。
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)
tensor([0.])
通过net[0]选择网络中的第一个图层, 然后使用weight.data和bias.data方法访问参数。 我们还可以使用替换方法normal_和fill_来重写参数值。
3.3.5. 定义损失函数
计算均方误差使用的是MSELoss类,也称为L2平方范数。 默认情况下,它返回所有样本损失的平均值。
loss = nn.MSELoss()
3.3.6. 定义优化算法
小批量随机梯度下降算法是一种优化神经网络的标准工具, PyTorch在optim模块中实现了该算法的许多变种
trainer = torch.optim.SGD(net.parameters(), lr=0.03)
指定优化的参数 (可通过net.parameters()从我们的模型中获得)以及优化算法所需的超参数字典。
小批量随机梯度下降只需要设置lr值,这里设置为0.03
3.3.7. 训练
步骤:
- 通过调用net(X)生成预测并计算损失l(前向传播)。
- 通过进行反向传播来计算梯度。
- 通过调用优化器来更新模型参数。
为了更好的衡量训练效果,我们计算每个迭代周期后的损失,并打印它来监控训练过程。
num_epochs = 3
for epoch in range(num_epochs):
for X, y in data_iter:
l = loss(net(X) ,y)
trainer.zero_grad()
l.backward()
trainer.step()
l = loss(net(features), labels)
print(f'epoch {epoch + 1}, loss {l:f}')
epoch 1, loss 0.000157
epoch 2, loss 0.000094
epoch 3, loss 0.000094
要访问参数,我们首先从net访问所需的层,然后读取该层的权重和偏置
w = net[0].weight.data
print('w的估计误差:', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差:', true_b - b)
w的估计误差: tensor([-0.0008, 0.0006])
b的估计误差: tensor([0.0013])
3.3.8 小结
我们可以使用PyTorch的高级API更简洁地实现模型。
在PyTorch中,data模块提供了数据处理工具,nn模块定义了大量的神经网络层和常见损失函数。
我们可以通过_结尾的方法将参数替换,从而初始化参数