当前位置： 首页 > news >正文

简明 | ResNet特点、残差模块、残差映射理解摘要

news 来源：原创 2024/9/20 19:43:15

Deep Residual Learning for Image Recognition 

 

目录

ResNet特点

Residual残差模块

残差模块映射

实线残差模块

虚线残差模块

ResNet特点

  • 使用BN（Batch Normalization）层加速训练，解决梯度消失/梯度爆炸问题
  • 引入residual残差结构，减轻退化问题，可以搭建超深度网络结构(超1000层)。
退化较弱

Residual残差模块

残差神经网络实际存在两类残差模块（单元），姑且称为（实线）残差模块与虚线残差模块。 

残差模块映射

残差模块包含两种映射，identity mapping和residual mapping，综合形成x\rightarrow y=F(x)+x

identity mapping实际基于skip connection跳跃连接理论

residual mapping残差可以理解为y-x，即F(x)

实线残差模块

左图模块用于浅层网络（ResNet34），右图模块用于深层网络（如ResNet101）

浅层实线残差模块
深层实线残差模块

右侧模块中，能够减少参数和运算量，1*1的卷积和用于升维/降维。

输入channel为256的特征矩阵，左侧模块需要1170648个参数，右侧模块需要69632个参数。

 

虚线残差模块

左图模块用于浅层网络（ResNet34），右图模块用于深层网络（如ResNet101）

浅层虚线残差模块
深层虚线残差模块

虚线残差结构在跳跃连接分支上加入1*1卷积核进行降维

注意虚线残差模块中各层步距stride与实线残差模块的区别

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 【C语言】C语言期末突击/考研--结构体与C++引用
  • 2024华硕迷你主机选购指南：全系列覆盖
  • 深入理解 C 语言中的联合体
  • JavaWeb基础1：HTML/CSS/JS/HTTP
  • 蓝屏事件：网络安全的启示
  • 云原生的候选应用
  • 静态代理与动态代理区别？
  • 记一次Mysql8.0使用GROUP BY查询导致异常问题
  • 供应链安全：黑客攻击 Nimble 包
  • 【LeetCode】133.克隆图
  • C#中常用集合类型
  • 室内宠物空气净化器哪个好？排名靠前室内宠物空气净化器使用感受
  • 详解Xilinx FPGA高速串行收发器GTX/GTP（3）--GTX的时钟架构
  • 白骑士的PyCharm教学高级篇 3.2 多模块项目管理
  • 谷粒商城实战笔记-129-商城业务-商品上架-nested数据类型场景
  • 【407天】跃迁之路——程序员高效学习方法论探索系列（实验阶段164-2018.03.19）...
  • Cumulo 的 ClojureScript 模块已经成型
  • Dubbo 整合 Pinpoint 做分布式服务请求跟踪
  • js 实现textarea输入字数提示
  • spring + angular 实现导出excel
  • 阿里中间件开源组件：Sentinel 0.2.0正式发布
  • 对象引论
  • 回顾2016
  • 嵌入式文件系统
  • 无服务器化是企业 IT 架构的未来吗？
  • 想写好前端，先练好内功
  • 鱼骨图 - 如何绘制？
  • postgresql行列转换函数
  • 仓管云——企业云erp功能有哪些？
  • 你学不懂C语言，是因为不懂编写C程序的7个步骤 ...
  • ​queue --- 一个同步的队列类​
  • ​软考-高级-系统架构设计师教程（清华第2版）【第9章 软件可靠性基础知识（P320~344）-思维导图】​
  • # 飞书APP集成平台-数字化落地
  • # 详解 JS 中的事件循环、宏/微任务、Primise对象、定时器函数，以及其在工作中的应用和注意事项
  • (13)Hive调优——动态分区导致的小文件问题
  • （2021|NIPS，扩散，无条件分数估计，条件分数估计）无分类器引导扩散
  • （9）目标检测_SSD的原理
  • (el-Date-Picker)操作(不使用 ts)：Element-plus 中 DatePicker 组件的使用及输出想要日期格式需求的解决过程
  • (Forward) Music Player: From UI Proposal to Code
  • (libusb) usb口自动刷新
  • (Matlab)基于蝙蝠算法实现电力系统经济调度
  • （附源码）ssm基于jsp高校选课系统 毕业设计 291627
  • （附源码）ssm考试题库管理系统 毕业设计 069043
  • (切换多语言)vantUI+vue-i18n进行国际化配置及新增没有的语言包
  • （三）Kafka 监控之 Streams 监控（Streams Monitoring）和其他
  • (原)记一次CentOS7 磁盘空间大小异常的解决过程
  • （转）编辑寄语：因为爱心，所以美丽
  • (轉貼) 2008 Altera 亞洲創新大賽 台灣學生成果傲視全球 [照片花絮] (SOC) (News)
  • .net dataexcel 脚本公式 函数源码
  • .Net Memory Profiler的使用举例
  • .net6使用Sejil可视化日志
  • .net开发引用程序集提示没有强名称的解决办法
  • /dev下添加设备节点的方法步骤（通过device_create）
  • @entity 不限字节长度的类型_一文读懂Redis常见对象类型的底层数据结构
  • [ C++ ] STL---string类的模拟实现