当前位置：首页 > news >正文

一文读懂SEnet：如何让机器学习模型学会“重点观察”

news 来源：原创 2024/9/21 5:41:22

深入探讨一个在图像识别、自然语言处理等众多领域大放异彩的注意力模块——Squeeze-and-Excitation Networks（SEnet）。本文不仅会理论剖析SEnet的核心原理，还会手把手带你完成在TensorFlow和Pytorch这两个主流框架上的代码实现。准备好了吗？一起步入注意力机制的精妙世界。

一、SEnet：深度网络的敏锐洞察力

SEnet首次提出于2017年，它革新了传统神经网络对特征处理的方式。不同于常规的前馈结构，SEnet通过在每个卷积块后添加一个轻量级的注意力模块，动态地为每个通道分配权重，强调重要特征而抑制不相关的信号。这项创新不仅提高了模型效率，还显著提升了在多个基准测试任务上的性能。

论文与代码资源

在深入探讨之前，这里附上SEnet的原始论文链接[1]，以及官方提供的代码仓库[2]，供各位进一步探索。

二、SE模块的奥秘

1. 输入与结构概述

SE模块处理的输入通常是具有形态为D×H×W×C的数据，其中D、H、W分别代表深度、高度和宽度，C则代表通道数。特别地，在二维图像处理场景中，深度D一般为1。

2. “挤压”（Squeeze）操作

通道压缩

SE模块首先通过全局平均池化将三维空间特征（H×W×C）压扁至一维（1×1×C），这个过程被称为“挤压”。此步骤有效地提取了全局上下文信息，为接下来的特征重标定奠定基础。

3. “激励”（Excitation）操作

特征再赋权

双全连接层：压缩后的特征经过两个全连接层处理。第一个全连接层大幅度降低维度（使用降维比ratio，如默认的2^n），然后通过ReLU激活引入非线性；第二个全连接层将维度恢复到原始通道数C，为每个通道产生一个标量权重。
Sigmoid激活：最终，利用Sigmoid函数将得到的权重映射至(0,1)区间，实现对每个通道的重要性判断。

4. “Scale”操作

得到的通道权重被用于逐元素地缩放原始特征图的通道值，强化重要特征，抑制无关特征。

三、代码实现：从理论到实践

1. TensorFlow实现

定义`squeeze_excite_block`

def squeeze_excite_block(input, ratio=16):init = tf.keras.initializers.he_normal()filters = input.shape[-1]# Squeezese_shape = (1, 1, filters)se = tf.keras.layers.GlobalAveragePooling2D()(input)se = tf.keras.layers.Reshape(se_shape)(se)# Excitationse = tf.keras.layers.Dense(filters // ratio, activation='relu', kernel_initializer=init)(se)se = tf.keras.layers.Dense(filters, activation='sigmoid', kernel_initializer=init)(se)# Scalescaled = tf.keras.layers.multiply([input, se])return scaled

2. PyTorch实现

`squeeze_excite_block`类

import torch.nn as nn
from torch import sigmoidclass SqueezeExcite(nn.Module):def __init__(self, in_channels, ratio=16):super(SqueezeExcite, self).__init__()reduced_dim = in_channels // ratioself.fc1 = nn.Linear(in_channels, reduced_dim)self.fc2 = nn.Linear(reduced_dim, in_channels)self.init_weights()def init_weights(self):nn.init.kaiming_uniform_(self.fc1.weight)nn.init.zeros_(self.fc1.bias)nn.init.uniform_(self.fc2.weight, a=-1e-3, b=1e-3)nn.init.zeros_(self.fc2.bias)def forward(self, x):batch_size, channels, height, width = x.size()se_tensor = F.avg_pool2d(x, (height, width)).view(batch_size, channels)se_tensor = self.fc1(se_tensor)se_tensor = F.relu(se_tensor)se_tensor = self.fc2(se_tensor)se_tensor = sigmoid(se_tensor)se_tensor = se_tensor.view(batch_size, channels, 1, 1)return x * se_tensor

四、结语

SEnet通过其巧妙的注意力机制，让模型更加专注于关键信息，有效促进了深度学习在诸多领域的应用。本文从理论层面剖析了SE模块的内部机制，并通过示例代码展示了在TensorFlow和Pytorch中的具体实现路径，希望对你理解并运用这一先进工具带来启发。

目前PlugLink发布了开源版和应用版，开源版下载地址：
Github地址：https://github.com/zhengqia/PlugLink
Gitcode地址：https://gitcode.com/zhengiqa8/PlugLink/overview
Gitee地址：https://gitee.com/xinyizq/PlugLink