嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴
- 1、表情识别网络模型
- 1.1 CBAM
- 1.2 嵌入 CBAM 的多尺度深度可分离卷积残差块
- 1.3 表情识别网络总体模型
- 2、实验
- 2.1 FER2013
- 2.2 CK+
- 2.3 消融实验
- 3、结论
主要解决几个问题：1）深度网络带来的梯度爆炸或弥散问题；2）特征提取效果不好；3）数据存在冗余或噪声（多余和无用的数据）
本文的解决办法：1）残差链接；2）Inception式结构进行多尺度特征提取；3）CBAM注意力模块提升有效特征的表达，削弱噪音影响。
亮点在于：1）Inception中的多尺度卷积核使用多层深度可分离卷积卷积替换，保证感受野的同时降低参数量；2）将CBAM嵌入到Inception每个分支中去，提升每个尺度的特征权重。
1、表情识别网络模型
1.1 CBAM
需要注意的是，这里使用sigmoid（有些注意力使用的softmax）
1.2 嵌入 CBAM 的多尺度深度可分离卷积残差块
可以看出，不考虑通道，3x3DW的感受野=3x3Conv的感受野。所以上图四个分支就等效于普通卷积的3x3、5x5、7x7、9x9，实现了轻量级的多尺度特征提取结构。
除此之外还有CBAM加强每个尺度提取的特征图，剔除冗余特征，提升特征的有效性
1.3 表情识别网络总体模型
首先一个3x3x64的卷积作为stem layer。
后面跟上8个Basic Block（注意Basic Block-1实际上是两个Basic Block组成，其他类同），每层的输出通道数：64、64、128、128、512、512、256、256、512、512。随后跟上全局均值池化将512通道的特征图转换成512向量，然后通过一个FC层输出7分类数据。总体结构上就是[StemLayer, BasicBlocks, GAP, FC]
整体结构如表和图4所示（特征图经过Basic Block-n的运算，shape不变，但是在Basic Block-n之间可以看到特征图尺寸减半、通道加倍，这里的操作没有说明）。
2、实验
2.1 FER2013
在FER2013数据集上使用TenCrop精度。实验共迭代 300 次，初始学习率设为 0.01，批量
大小设为 32，50 次迭代后，每 8 轮迭代学习率的衰减为之前的 0.8 倍（感觉很多论文都是这个设置）。
最终得到73.89%的准确度，混淆矩阵如下图：
2.2 CK+
在 CK+数据集上训练时，因其数据较少，故采用十折交叉验证，实验以 9:1 的比例将数据集分为训练集和测试集，本文算法在 CK+数据集得到 94.47%的准确度。
2.3 消融实验
ABCD分别代表Inception结构中的4个分支，n-CBAM代表在n分支上添加CBAM模块。
可以看出添加了B分支（等同5x5卷积）提升最大，可能是FER2013数据集的图像尺寸比较小(48x48)，3x3+5x5分支已经能表征需要的多尺度。CBAM也是在分支B上提升最大。
3、结论
利用残差结构和深度可分离卷积堆叠设计了一种类Inception的多分支结构，并且在每个分支上使用CBAM强化特征。实现了保证感受野的轻量级多分支结构，并获得了很好的效果。
从消融实验分支B的提升效果看出，多分支确实能够提高特征提取能力，这可能和表情识别需要局部和全局信息判断有关