Pytorch代码：打印模型每层的参数数量和总参数量
这个代码片段定义了一个函数 print_model_parameters，它的作用是打印每层的参数数量以及模型的总参数量。下面是对这个函数的详细解释，重点解释 named_parameters，requires_grad 和 numel 参数的含义：
# 打印每层的参数数量和总参数量
def print_model_parameters(model):total_params = 0for name, param in model.named_parameters():if param.requires_grad:print(f"{name}: {param.numel()} parameters")total_params += param.numel()print(f"For now parameters: {total_params}")print(f"Total parameters: {total_params}")
具体步骤和解释
-
定义和初始化：
def print_model_parameters(model):total_params = 0这个函数接收一个模型对象
model，并初始化一个变量total_params用于累积总参数量。 -
遍历模型参数：
for name, param in model.named_parameters():这里使用了
model.named_parameters()方法，该方法返回一个生成器，生成模型中所有参数的名称和参数张量。它返回的是(name, parameter)形式的元组。named_parameters：这是一个PyTorch模型的方法，它返回模型中所有参数的名称和参数本身。参数的名称是字符串类型，而参数是一个torch.Tensor对象。
-
判断参数是否需要梯度更新：
if param.requires_grad:每个参数张量都有一个
requires_grad属性，这个属性是一个布尔值。如果requires_grad为True，表示这个参数在训练过程中需要计算梯度并进行更新。requires_grad：这是一个布尔值属性，表示该参数是否需要在训练过程中计算梯度。如果是True，则该参数会在反向传播时计算并存储梯度。
-
打印参数数量并累加：
print(f"{name}: {param.numel()} parameters") total_params += param.numel() print(f"For now parameters: {total_params}")对于需要梯度的参数，打印其名称和参数数量，并将该参数的数量累加到
total_params中。numel：这是一个方法，返回张量中所有元素的数量。例如，一个形状为(3, 4)的张量调用numel()方法会返回12，因为这个张量有12个元素。
-
打印总参数量：
print(f"Total parameters: {total_params}")最后，打印模型的总参数数量。
总结
这个函数通过 model.named_parameters() 遍历模型的所有参数，检查每个参数的 requires_grad 属性，只有在 requires_grad 为 True 时才计算并打印参数数量，同时累加总参数量。 numel() 方法用于获取每个参数张量的元素数量，从而帮助统计参数数量。最后打印总参数量，提供了对模型规模的一个直观了解。