当前位置： 首页 > news >正文

深度学习学习经验——全连接神经网络（FCNN）

news 来源：原创 2024/9/20 21:22:16

什么是全连接神经网络？

全连接神经网络（FCNN）是最基础的神经网络结构，它由多个神经元组成，这些神经元按照层级顺序连接在一起。每一层的每个神经元都与前一层的每个神经元连接。

想象你在参加一个盛大的晚会，晚会上有三个区域：接待区、交流区和结果区。

  • 接待区（输入层）：负责接收来宾（数据），每个来宾代表一个特征。
  • 交流区（隐藏层）：每个来宾在交流区与其他来宾交流，交换信息。这里的每个交流区的来宾（神经元）都会与其他来宾进行对话，以获得更深层次的理解。
  • 结果区（输出层）：最后，在结果区，来宾们会得出他们的总结（预测结果），然后将其提供给晚会的组织者（输出）。

神经网络的结构

输入层（Input Layer）
  • 功能：接受原始数据。每个神经元代表一个特征，例如图片的像素值、语音信号的特征等。
  • 示例：如果你有一张28x28像素的灰度图片，那么输入层会有784个神经元（28x28=784），每个神经元代表一个像素值。
隐藏层（Hidden Layer）
  • 功能：处理和提取数据特征。每个神经元通过加权和激活函数来处理输入数据，然后将结果传递到下一层。
  • 示例：隐藏层的神经元数目可以是任意的，例如100个神经元。隐藏层能够提取数据的复杂特征，如图像中的边缘或形状。
输出层（Output Layer）
  • 功能：给出最终的预测结果。输出层的神经元数目等于任务的类别数。例如，在数字分类任务中，输出层有10个神经元（分别代表0到9这10个数字）。
  • 示例：如果你要识别图片中的数字（0-9），输出层的每个神经元会输出一个数字的概率。
激活函数（Activation Function）
  • 功能：引入非线性，使得神经网络能够处理复杂的模式。激活函数决定了神经元是否激活。
  • 常见激活函数：
    • ReLU（Rectified Linear Unit）：f(x) = max(0, x)。用于隐藏层，能够引入非线性，提升模型表现。
    • Sigmoid：f(x) = 1 / (1 + exp(-x))。用于输出层，特别是在二分类任务中。

下面为代码案例

我们使用MNIST数据集来训练一个简单的全连接神经网络模型。MNIST数据集包含了手写数字的图像，每个图像的大小为28x28像素，共10个类别（0-9）。

如果在下载 MNIST 数据集时遇到了问题。尝试手动下载数据集（经尝试官方的似乎会被墙，说没有权限下载）

手动下载数据集

可以手动下载 MNIST 数据集，并将其放到合适的目录下。

  1. 下载数据集：

    • MNIST 数据集 主页提供了所有必要的文件。可以直接从这里下载：
      • train-images-idx3-ubyte.gz
      • train-labels-idx1-ubyte.gz
      • t10k-images-idx3-ubyte.gz
      • t10k-labels-idx1-ubyte.gz
    • 如果官方的渠道无法下载 可以从我分享的 MNIST数据集下载

  2. 解压文件：

    • 下载后，可以使用工具解压这些 .gz 文件。例如，在终端中运行：
      gunzip train-images-idx3-ubyte.gz
gunzip train-labels-idx1-ubyte.gz
gunzip t10k-images-idx3-ubyte.gz
gunzip t10k-labels-idx1-ubyte.gz

  3. 移动文件：

    • 将解压后的文件放到项目目录下的 ./data/MNIST/raw/ 目录中。

1. 数据预处理

首先，我们需要对 MNIST 数据集进行预处理，将图像转换为 Tensor，并进行归一化处理。

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms# 1. 数据预处理
transform = transforms.Compose([transforms.ToTensor(),  # 将图像转换为Tensor，并归一化到[0, 1]transforms.Normalize((0.5,), (0.5,))  # 标准化
])train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform)train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

讲解：

  • 使用 torchvision.transforms 对 MNIST 数据集进行转换，将图像转换为 Tensor，并归一化到 [0, 1] 范围。
  • 将数据集加载到 DataLoader 中，设置批量大小和是否打乱数据。

2. 定义全连接神经网络模型

接下来，定义一个简单的全连接神经网络模型。这个模型包括三个全连接层和两个激活函数（ReLU 和 Softmax）。

# 2. 定义全连接神经网络模型
class SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(28*28, 128)  # 第一层：输入层到隐藏层self.fc2 = nn.Linear(128, 64)     # 第二层：隐藏层到隐藏层self.fc3 = nn.Linear(64, 10)      # 第三层：隐藏层到输出层self.relu = nn.ReLU()             # ReLU激活函数self.softmax = nn.Softmax(dim=1)  # Softmax激活函数，用于输出层def forward(self, x):x = x.view(-1, 28*28)  # 将每张图片展平为一维向量x = self.relu(self.fc1(x))  # 第一层到ReLUx = self.relu(self.fc2(x))  # 第二层到ReLUx = self.fc3(x)            # 第三层，输出层return self.softmax(x)     # Softmax输出model = SimpleNN()

讲解：

  • 定义了一个名为 SimpleNN 的神经网络类，继承自 nn.Module。
  • 在 __init__ 方法中定义了三个全连接层（fc1, fc2, fc3）和两个激活函数（ReLU 和 Softmax）。
  • 在 forward 方法中定义了数据如何流经网络层，包括展平、激活函数和最终的 Softmax 输出。

3. 定义损失函数和优化器

然后，我们定义损失函数和优化器。这里使用交叉熵损失函数和 Adam 优化器。

# 3. 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()  # 交叉熵损失函数
optimizer = optim.Adam(model.parameters(), lr=0.001)  # Adam优化器

讲解：

  • 使用 nn.CrossEntropyLoss 作为损失函数，这适用于分类任务。
  • 使用 optim.Adam 作为优化器来更新网络参数，设置学习率为 0.001。

4. 训练模型

接下来，我们定义一个函数来训练模型。在每个 epoch 中，模型会遍历训练数据，进行前向传播、计算损失、进行反向传播并更新参数。

# 4. 训练模型
def train(model, criterion, optimizer, train_loader, epochs=5):model.train()for epoch in range(epochs):running_loss = 0.0for images, labels in train_loader:optimizer.zero_grad()  # 清空梯度outputs = model(images)  # 前向传播loss = criterion(outputs, labels)  # 计算损失loss.backward()  # 反向传播optimizer.step()  # 更新参数running_loss += loss.item()print(f"Epoch {epoch+1}/{epochs}, Loss: {running_loss/len(train_loader)}")

讲解：

  • train 函数通过指定的 epochs 训练模型。每个 epoch 中，模型会遍历训练数据，进行前向传播、计算损失、进行反向传播并更新参数。
  • 每个 epoch 结束后，输出当前的平均损失。

5. 评估模型

最后，我们定义一个函数来评估模型的准确性。在测试数据上评估模型的表现。

# 5. 评估模型
def evaluate(model, test_loader):model.eval()correct = 0total = 0with torch.no_grad():for images, labels in test_loader:outputs = model(images)_, predicted = torch.max(outputs, 1)total += labels.size(0)correct += (predicted == labels).sum().item()accuracy = correct / totalprint(f"Test Accuracy: {accuracy:.4f}")

讲解：

  • evaluate 函数在测试数据上评估模型的准确率。模型进入评估模式，不计算梯度，直接进行预测并计算准确率。
  • 输出模型在测试数据上的准确性。

完整代码

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms# 1. 数据预处理
transform = transforms.Compose([transforms.ToTensor(),  # 将图像转换为Tensor，并归一化到[0, 1]transforms.Normalize((0.5,), (0.5,))  # 标准化
])train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform)train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)# 2. 定义全连接神经网络模型
class SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(28*28, 128)  # 第一层：输入层到隐藏层self.fc2 = nn.Linear(128, 64)     # 第二层：隐藏层到隐藏层self.fc3 = nn.Linear(64, 10)      # 第三层：隐藏层到输出层self.relu = nn.ReLU()             # ReLU激活函数self.softmax = nn.Softmax(dim=1)  # Softmax激活函数，用于输出层def forward(self, x):x = x.view(-1, 28*28)  # 将每张图片展平为一维向量x = self.relu(self.fc1(x))  # 第一层到ReLUx = self.relu(self.fc2(x))  # 第二层到ReLUx = self.fc3(x)            # 第三层，输出层return self.softmax(x)     # Softmax输出model = SimpleNN()# 3. 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()  # 交叉熵损失函数
optimizer = optim.Adam(model.parameters(), lr=0.001)  # Adam优化器# 4. 训练模型
def train(model, criterion, optimizer, train_loader, epochs=5):model.train()for epoch in range(epochs):running_loss = 0.0for images, labels in train_loader:optimizer.zero_grad()  # 清空梯度outputs = model(images)  # 前向传播loss = criterion(outputs, labels)  # 计算损失loss.backward()  # 反向传播optimizer.step()  # 更新参数running_loss += loss.item()print(f"Epoch {epoch+1}/{epochs}, Loss: {running_loss/len(train_loader)}")# 5. 评估模型
def evaluate(model, test_loader):model.eval()correct = 0total = 0with torch.no_grad():for images, labels in test_loader:outputs = model(images)_, predicted = torch.max(outputs, 1)total += labels.size(0)correct += (predicted == labels).sum().item()accuracy = correct / totalprint(f"Test Accuracy: {accuracy:.4f}")# 执行训练和评估
train(model, criterion, optimizer, train_loader)
evaluate(model, test_loader)

这个完整的代码示例展示了如何使用 PyTorch 构建、训练和评估一个简单的全连接神经网络模型。

总结

全连接神经网络是最基础的神经网络结构，通过输入层接收数据，通过隐藏层进行特征提取和学习，最后通过输出层给出预测结果。激活函数为网络引入非线性，使其能够学习和处理复杂的模式。通过逐步构建和训练模型，我们可以解决各种数据分类和回归问题。

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 国内外大模型汇总：Open AI大模型、Google大模型、Microsoft大模型、文心一言大模型、通义千问大模型、字节豆包大模型、智普清言大模型
  • Aiseesoft Data Recovery for Mac：专业级数据恢复解决方案
  • 淘宝API接口解析： item_fee获取淘宝商品运费接口
  • 动态代理和静态代理的区别，动态代理怎么提高网络安全性
  • vue中使用vue-video-player插件播放视频 以及 audio播放音频
  • 简单工作流（后端部分-spring boot，顺便优化了下ui）
  • 系统架构设计师——架构风格
  • 低成本、高精度电子计量解决方案
  • yolov7详解
  • 【设计模式-单例】
  • Git 分支管理
  • 【Go语言成长之路】使用 Go 和 Gin 开发 RESTful API
  • Unity Application.Quit 长时间卡顿甚至崩溃的解决方法
  • 西圣和倍思哪款充电宝好？罗马仕无线磁吸充电宝深度实测PK！
  • 计算机网络常见面试题总结
  • (十五)java多线程之并发集合ArrayBlockingQueue
  • .pyc 想到的一些问题
  • [deviceone开发]-do_Webview的基本示例
  • 【RocksDB】TransactionDB源码分析
  • Android Studio：GIT提交项目到远程仓库
  • AngularJS指令开发（1）——参数详解
  • echarts的各种常用效果展示
  • export和import的用法总结
  • happypack两次报错的问题
  • HTTP那些事
  • iOS | NSProxy
  • iOS编译提示和导航提示
  • iOS动画编程-View动画[ 1 ] 基础View动画
  • leetcode378. Kth Smallest Element in a Sorted Matrix
  • Making An Indicator With Pure CSS
  • Nginx 通过 Lua + Redis 实现动态封禁 IP
  • Python 基础起步 (十) 什么叫函数？
  • Python代码面试必读 - Data Structures and Algorithms in Python
  • Python学习之路13-记分
  • session共享问题解决方案
  • 计算机常识 - 收藏集 - 掘金
  • 提升用户体验的利器——使用Vue-Occupy实现占位效果
  • 中文输入法与React文本输入框的问题与解决方案
  • media数据库操作，可以进行增删改查，实现回收站，隐私照片功能 SharedPreferences存储地址：
  • 阿里云IoT边缘计算助力企业零改造实现远程运维 ...
  • 进程与线程（三）——进程/线程间通信
  • 树莓派用上kodexplorer也能玩成私有网盘
  • ​secrets --- 生成管理密码的安全随机数​
  • # 睡眠3秒_床上这样睡觉的人，睡眠质量多半不好
  • #100天计划# 2013年9月29日
  • #laravel 通过手动安装依赖PHPExcel#
  • #进阶：轻量级ORM框架Dapper的使用教程与原理详解
  • #快捷键# 大学四年我常用的软件快捷键大全，教你成为电脑高手！！
  • (20)docke容器
  • (echarts)echarts使用时重新加载数据之前的数据存留在图上的问题
  • (env: Windows,mp,1.06.2308310； lib: 3.2.4) uniapp微信小程序
  • (MIT博士）林达华老师－概率模型与计算机视觉”
  • （二）基于wpr_simulation 的Ros机器人运动控制，gazebo仿真
  • （黑马点评）二、短信登录功能实现
  • (三分钟)速览传统边缘检测算子