正则项学习笔记
目录
1. L2 正则化 岭回归
1.1 L2 norm计算例子
2. L1 正则化
3. 弹性网正则化
4. Dropout
1. L2 正则化 岭回归
在 PyTorch 中，L2 正则化通常通过设置优化器的 weight_decay 参数实现。以下是一个简单的例子：
介绍博文：
正则化(1)：通俗易懂的岭回归
import torch
import torch.nn as nn
import torch.optim as optim# 定义一个简单的模型
class Model(nn.Module):def __init__(self):super(Model, self).__init__()self.fc1 = nn.Linear(10, 5)self.fc2 = nn.Linear(5, 2)def forward(self, x):x = torch.relu(self.fc1(x))x = self.fc2(x)return x# 创建模型和数据
model = Model()
inputs = torch.randn(1, 10)
targets = torch.tensor([1, 0], dtype=torch.float32)# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=1e-5) # L2 正则化# 训练模型
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, targets)
loss.backward()
optimizer.step()
1.1 L2 norm计算例子
import numpy as np# 假设一些模型权重
weights = np.array([1.5, -2.3, 0.7, -0.9])# 计算 L2 范数（即所有权重平方的平方根）
l2_norm = np.sqrt(np.sum(np.square(weights)))# 计算 L2 正则化项，这里使用一个正则化参数 lambda
lambda_param = 0.01
l2_regularization = lambda_param * 0.5 * np.sum(np.square(weights))print("L2 Norm of weights:", l2_norm)
print("L2 Regularization term:", l2_regularization)
2. L1 正则化
在 PyTorch 中，实现 L1 正则化需要自定义损失函数，包括权重的 L1 范数：
# 计算 L1 正则化损失
def l1_penalty(model):l1_norm = sum(p.abs().sum() for p in model.parameters())return l1_norm# 添加 L1 正则化到总损失
lambda1 = 0.01
l1_loss = l1_penalty(model)
total_loss = loss + lambda1 * l1_loss
3. 弹性网正则化
弹性网正则化结合了 L1 和 L2 正则化：
lambda1 = 0.01
lambda2 = 0.01l1_loss = l1_penalty(model)
l2_loss = sum(p.pow(2.0).sum() for p in model.parameters())elastic_net_loss = lambda1 * l1_loss + lambda2 * l2_loss
total_loss = loss + elastic_net_loss
4. Dropout
Dropout 是一种在训练过程中随机丢弃网络中一部分神经元的方法：
class DropoutModel(nn.Module):def __init__(self):super(DropoutModel, self).__init__()self.fc1 = nn.Linear(10, 5)self.dropout = nn.Dropout(0.2)self.fc2 = nn.Linear(5, 2)def forward(self, x):x = torch.relu(self.fc1(x))x = self.dropout(x)x = self.fc2(x)return x# 使用 DropoutModel 替代原始模型
model = DropoutModel()