当前位置：首页 > news >正文

rnn定义(rnn批次,核心思想理解)循环神经网络(递归)

news 来源：原创 2024/9/29 13:17:13

rnn源码阅读方法:

点击去往后翻注释都放在最后

也可以直接粘贴出来gpt解释

一rnn核心思想:

1.定义rnn模型

2.定义输入层

3.定义隐藏层(通过设置参数调整隐藏层层数) 初始隐藏状态需要与输入张量的大小相匹配，以便RNN能够正确地处理数据。

4定义输出层

代码演示:

def dm_rnn_for_base():# 创建一个RNN模型'''input_size：这是输入数据的维度。对于nn.RNN，它是一个标量，表示每个时间步的输入数据的维度。在这个例子中，input_size被设置为5。
hidden_size：这是RNN中隐藏层的大小。这个参数决定了网络能够学习的状态空间的大小。在这个例子中，hidden_size被设置为6。
num_layers：这是RNN中层的数量。每个层都包含一个或多个隐藏单元。在这个例子中，num_layers被设置为1，意味着只有一个隐藏层。:return:'''rnn = nn.RNN(5, 6, 1)# 创建一个随机输入张量，形状为(batch_size, sequence_length, input_size)# 在这个例子中，batch_size为1，sequence_length为3，input_size为5input = torch.randn(1, 3, 5)# 创建一个随机初始隐藏状态张量，形状为(num_layers, batch_size, hidden_size)# 在这个例子中，num_layers为1，batch_size为1，hidden_size为6h0 = torch.randn(1, 3, 6)# 使用RNN模型进行前向传播，输入为input，初始隐藏状态为h0# 输出为一个张量，包含所有时间步的输出，形状为(sequence_length, batch_size, hidden_size)# 隐藏状态张量hn包含了最后一个时间步的隐藏状态，形状为(num_layers, batch_size, hidden_size)output, hn = rnn(input, h0)# 打印输出张量和隐藏状态张量的形状和内容print('output', output.shape, output)print('hn', hn.shape, hn)# 打印RNN模型的详细信息print('rnn模型打印', rnn)

output, hn = rnn(input, h0)

返回值解释: 区别

output保存了每一行的输出 hn只保留了最后一个隐藏层输出

batch 和batch_size区别:

epoch=100

batch_size=5

那么batch=25(100/25)

batch_size=5

不用batch和batch_size区别:

逐个训练会占用更多的时间

分批次会并行计算然后合并更高效

注意事项:

nn.rnn和rnn 前向传播区别:

在PyTorch中，nn.RNN是一个类，它定义了RNN的计算图和前向传播操作。当你创建一个nn.RNN的实例时，你实际上并没有执行前向传播，只是定义了前向传播的计算图。前向传播是在你调用nn.RNN实例的forward方法时执行的。

在PyTorch中，所有的神经网络模块（如nn.RNN）都有一个forward方法，这个方法定义了网络的计算过程。当你使用rnn(input, h0)这样的形式调用nn.RNN实例的forward方法时，你才真正执行了前向传播。

因此，当你看到代码中出现rnn = nn.RNN(5, 6, 1)时，这行代码只是创建了一个nn.RNN的实例，并没有执行前向传播。真正执行前向传播的是output, hn = rnn(input, h0)这行代码。

两次执行前向传播的区别在于：

第一次执行（创建nn.RNN实例）：这行代码定义了RNN的前向传播计算图，但并没有执行计算。
第二次执行（调用nn.RNN实例的forward方法）：这行代码执行了前向传播，计算了输出和隐藏状态。

batch_first=true辨析

batch_first开启后层次更明了 rnn每一层保存一个单词第n个多个层次后才结束

batch_first rnn每一层一个的单词的从开始到结束

默认值（batch_first=False）：如果batch_first设置为False，则输入张量(torch.randn(1, 3, 5))的形状应该为(sequence_length, batch_size, input_size)。在这种情况下，RNN的forward方法会按时间步顺序处理序列数据，即首先处理序列的第一个元素，然后是第二个元素，依此类推。todo 一个单词的中的一个字母叫元素  love  word 处理顺序: l w   o o  v r
设置为True（batch_first=True）：如果batch_first设置为True，则输入张量的形状应该为(batch_size, sequence_length, input_size)。
在这种情况下，RNN的forward方法会按批次顺序处理序列数据，即首先处理序列的第一个批次，然后是第二个批次，依此类推。todo 一个批次 所有单词处理完    love word 处理顺序  love word

当batch_first设置为True时，输入张量的形状应该是(batch_size, sequence_length, input_size)；当batch_first设置为False时，输入张量的形状应该是(sequence_length, batch_size, input_size)。

所以true后要调整参数