如何使用Optuna在PyTorch中进行超参数优化
所有神经网络在训练过程中都需要选择超参数，而这些超参数对收敛速度和最终性能有着非常显著的影响。
这些超参数需要特别调整，以充分发挥模型的潜力。超参数调优过程是神经网络训练中不可或缺的一部分，某种程度上，它是一个主要基于梯度优化问题中的“无梯度”部分。
在这篇文章中，我们将探讨超参数优化的领先库之一——Optuna，它使这一过程变得非常简单且高效。我们将把这个过程分为5个简单的步骤。
第一步：定义模型
首先，我们将导入相关的包，并使用PyTorch创建一个简单的全连接神经网络。该全连接神经网络包含一个隐藏层。
为了保证可复现性，我们还设置了一个手动随机种子。
import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
from torch.utils.data import DataLoader
from torch.utils.data import random_split
import optunaSEED = 42
torch.manual_seed(SEED)
random.seed(SEED)# Define a simple neural network
class SimpleNN(nn.Module):def __init__(self, input_size, hidden_size, output_size):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(input_size, hidden_size)self.fc2 = nn.Linear(hidden_size, output_size)def forward(self, x):x = torch.flatten(x, 1)x = torch.relu(self.fc1(x))x = self.fc2(x)return x
第二步：定义搜索空间和目标函数
接下来，我们将设置超参数优化所需的标准组件。我们将执行以下步骤：
1.下载FashionMNIST数据集。
2.定义超参数搜索空间：
我们定义(a)想要优化的超参数，以及(b)允许这些超参数取值的范围。在我们的例子中，我们将选择以下超参数：
-
神经网络隐藏层大小——整数值。
-
学习率——对数分布的浮点值。
-
优化器选择：分类选择（无顺序），在以下选项中选择：[“Adam”, “SGD”]。
3.定义目标函数：
目标函数是一个方法，用于在短暂的“超参数调优运行”中训练模型，并返回“模型好坏”的衡量指标。它可以是多种指标的组合，包括延迟等。但为了简单起见，这里我们只使用验证准确率。
请注意，这里模型训练10个周期，目标函数的输出是验证准确率。
# Split data into train and validation sets
transfor