Loss上升，精度却也上升？
1、情况说明
在训练中遇到了下图验证集损失先降后升，这是典型的过拟合，但是此时验证集精度却仍然在上升（直觉认为Loss上升变差应当精度下降变差），这种反直觉的现象引发了思考
2、分析
首先说的比较详细的是这篇博客深度学习相关问题的记录：验证集loss上升，准确率却上升，其实原理也很简单，比如你的BatchSize=5，其中有1个错了，那么你的精度为80%，但是如果错了的这个输出非常离谱计算出来的Loss很大（比如[0.000001,0.2,0.33339,0.2,0.2]和[1,0,0,0,0]这个输出虽然错误了，但是根据0.00001和1计算出的Loss却会很大）（也就是数据集中存在hard case导致突变），那么5个Loss的均值Loss也就很大。反之如果有2个错了，但是输出和正确的差一丢丢，计算出来的Loss可能比较小，平均Loss也就比较小。所以可以看出Loss和精度并非强相关联系。而且如果你设计的Loss不同，那么更有可能出现或者避免这种现象。
综上，Loss只是指导模型优化的指标，而不是模型性能的指标，所以要看模型效果，到底怎么样：看精度不看Loss
3、解决办法（只是收集，未验证）
- Droupout太猛了：训练时加了dropout后train loss正常下降，解决了过拟合，但是验证时没有dropout层，Loss就慢慢上升了，也就是在训练和验证时区别太大。
对于Val Loss先降后升，其实就是针对过拟合的解决办法：
- 增加训练样本
- 增加正则项系数权重，减小过拟合
- 加入早停机制，ValLoss上升几个epoch直接停止
- 采用Focal Loss
- 加入Label Smoothing
4、引用
- https://www.cnblogs.com/emanlee/p/14815390.html
- https://www.zhihu.com/question/291369144
- 我们真的需要把训练集的损失降低到零吗？