当前位置: 首页 > news >正文

论文阅读——MP-Former

MP-Former: Mask-Piloted Transformer for Image Segmentation

https://arxiv.org/abs/2303.07336

mask2former问题是:相邻层得到的掩码不连续,差别很大

denoising training非常有效地稳定训练时期之间的二分匹配。去噪训练的关键思想是将带噪声的GT坐标与可学习查询并行地送到Transformer解码器中,并训练模型去噪和恢复GT边框坐标。MPFormer去噪训练的思想从DN-DETR来,改进的mask2former模型。

MPformer送入class embeddings作为查询,给每层解码层送入GT masks作为attention masks,然后让模型重建类别和masks。

mask2former提出的mask attention可以使得训练时容易收敛。作者发现使得Vit类模型容易收敛的一些常识为给可学习的查询明确的意义,减少不确定性;二是给交叉注意力局部限制,更好的找到目标。因此作者认为给交叉注意力明确的导向可以提高分割性能。和DN-DETR不同,MPformer噪声可选择,可以没有。

作者把mask2former看做一个掩码不断精细化的过程,一层的预测作为下一层的attention masks。

MPformer是每层将GTmask作为attention masks,由于每层大小不一样,所以把GT使用双线性插值到不同分辨率。

加噪声的三种方式:

点噪声表现最好,所以用的点噪声。

Label-guided training:class embeddings会对应一个classification loss,class embeddings加噪声。

两种噪声,类别和掩码噪声的比例给的是0.2。

辅助函数:

结果

相关文章:

  • RabbitMQ-2.SpringAMQP
  • CSS高级技巧
  • SegmentAnything官网demo使用vue+python实现
  • 计算机网络总结
  • 2024/2/4 备战蓝桥杯 5-1 前缀和
  • mac检查CPU温度和风扇速度软件:Macs Fan Control Pro 1.5.17中文版
  • 决策树之scikit-learn
  • qt学习:arm摄像头+c调用v412框架驱动+qt调用v412框架驱动 显示摄像头画面
  • containerd中文翻译系列(五)客户端选项
  • 单片机学习笔记---DS1302时钟
  • 安全之护网(HVV)、红蓝对抗
  • 数据结构——单向链表和双向链表的实现(C语言版)
  • 图像处理常用算法—6个算子 !!
  • uniapp踩坑之项目:简易版不同角色显示不一样的tabbar和页面
  • 【JS逆向一】逆向某站的 加密参数算法--仅供学习参考
  • 《Java8实战》-第四章读书笔记(引入流Stream)
  • 【Linux系统编程】快速查找errno错误码信息
  • cookie和session
  • Electron入门介绍
  • JS题目及答案整理
  • JS专题之继承
  • k个最大的数及变种小结
  • UEditor初始化失败(实例已存在,但视图未渲染出来,单页化)
  • 阿里云购买磁盘后挂载
  • 动态规划入门(以爬楼梯为例)
  • 二维平面内的碰撞检测【一】
  • 给初学者:JavaScript 中数组操作注意点
  • 聊聊sentinel的DegradeSlot
  • 面试遇到的一些题
  • 浅谈web中前端模板引擎的使用
  • 自动记录MySQL慢查询快照脚本
  • ​七周四次课(5月9日)iptables filter表案例、iptables nat表应用
  • #FPGA(基础知识)
  • #我与Java虚拟机的故事#连载13:有这本书就够了
  • (附表设计)不是我吹!超级全面的权限系统设计方案面世了
  • (附源码)ssm捐赠救助系统 毕业设计 060945
  • (附源码)ssm考生评分系统 毕业设计 071114
  • (附源码)ssm智慧社区管理系统 毕业设计 101635
  • (每日持续更新)jdk api之FileReader基础、应用、实战
  • (一)RocketMQ初步认识
  • (原创)Stanford Machine Learning (by Andrew NG) --- (week 9) Anomaly DetectionRecommender Systems...
  • (转)Android学习笔记 --- android任务栈和启动模式
  • (转)Oracle 9i 数据库设计指引全集(1)
  • (转)Windows2003安全设置/维护
  • ./include/caffe/util/cudnn.hpp: In function ‘const char* cudnnGetErrorString(cudnnStatus_t)’: ./incl
  • .\OBJ\test1.axf: Error: L6230W: Ignoring --entry command. Cannot find argumen 'Reset_Handler'
  • .Net core 6.0 升8.0
  • .Net 代码性能 - (1)
  • .NET基础篇——反射的奥妙
  • .NET面试题解析(11)-SQL语言基础及数据库基本原理
  • /run/containerd/containerd.sock connect: connection refused
  • @Valid和@NotNull字段校验使用
  • [AAuto]给百宝箱增加娱乐功能
  • [acm算法学习] 后缀数组SA
  • [Android] Implementation vs API dependency