当前位置： 首页 > news >正文

论文阅读--ActionCLIP

news 来源：原创 2024/9/30 1:29:12

原来的动作识别问题在于标注太难太贵，将动作表示为短语的latent space太大

本文的贡献：（1）将CLIP的image encoder换成video encoder，方法与CLIP4Clip几乎一样

（2）CLIP的ground truth来自于文本-图像对，几乎是独立的，所以只有对角线上是正样本。但这里的text是动作标签，当batch比较大的时候，同一行或一列会出现多个正样本，这时不再是一个one-hot的问题，所以把cross entropy换成KL divergence

（b）对文本做前缀、完型、后缀的prompt

（c）把时间和空间上的token放一起丢给网络学习，也就是加上position embedding

（d）shift是在特征图上做各种各样的移动，达到更强的建模能力，但又不增加计算量。视频领域需要时序上的改变，19年tsm的论文正式将shift应用到视频，从此大火。每个ViT block之间加一个tsm的module，增强模型持续建模的能力，又不额外引入参数 

（efg）与CLIP4Clip一样，得到很多单帧表示后需要融合

相关文章：

  • Leetcode.560.和为k的子数组
  • python基础(1) -- 基本数据类型与变量
  • SQL Server--死锁
  • SDK——如何快速上手一个接口驱动任务（以iic为例）
  • 基于springboot+vue的4S店车辆管理系统
  • vulnhub靶场之FunBox-8
  • 渗透工具CobaltStrike工具的下载和安装
  • 粤嵌—2024/5/20—三角形最小路径和（✔）
  • gRPC和ProtoBuf
  • LeetCode-105-岛屿的最大面积
  • 【Linux杂货铺】进程通信
  • 线性模型--普通最小二乘法
  • JavaFX安装与使用
  • Web开发学习总结
  • 8.什么是HOOK
  • 002-读书笔记-JavaScript高级程序设计 在HTML中使用JavaScript
  • create-react-app项目添加less配置
  • JAVA SE 6 GC调优笔记
  • JDK 6和JDK 7中的substring（）方法
  • 高程读书笔记 第六章 面向对象程序设计
  • 海量大数据大屏分析展示一步到位：DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践...
  • 欢迎参加第二届中国游戏开发者大会
  • 基于MaxCompute打造轻盈的人人车移动端数据平台
  • 前端学习笔记之原型——一张图说明`prototype`和`__proto__`的区别
  • 算法系列——算法入门之递归分而治之思想的实现
  • ​第20课 在Android Native开发中加入新的C++类
  • # 服务治理中间件详解：Spring Cloud与Dubbo
  • # 计算机视觉入门
  • ## 1.3.Git命令
  • ###STL(标准模板库)
  • #include
  • #Js篇：单线程模式同步任务异步任务任务队列事件循环setTimeout() setInterval()
  • （3）llvm ir转换过程
  • （4）STL算法之比较
  • （第二周）效能测试
  • （附源码）springboot家庭财务分析系统 毕业设计641323
  • （剑指Offer）面试题41：和为s的连续正数序列
  • （十）【Jmeter】线程（Threads(Users)）之jp@gc - Stepping Thread Group (deprecated)
  • （四）linux文件内容查看
  • （转）fock函数详解
  • *2 echo、printf、mkdir命令的应用
  • ..回顾17，展望18
  • .equals()到底是什么意思？
  • .Net MVC4 上传大文件，并保存表单
  • .NET 常见的偏门问题
  • .NET 将混合了多个不同平台（Windows Mac Linux）的文件 目录的路径格式化成同一个平台下的路径
  • .net 前台table如何加一列下拉框_如何用Word编辑参考文献
  • .net遍历html中全部的中文,ASP.NET中遍历页面的所有button控件
  • .NET企业级应用架构设计系列之技术选型
  • /usr/local/nginx/logs/nginx.pid failed (2: No such file or directory)
  • ？？如何把JavaScript脚本中的参数传到java代码段中
  • @ConditionalOnProperty注解使用说明
  • @data注解_一枚 架构师 也不会用的Lombok注解，相见恨晚
  • [ vulhub漏洞复现篇 ] Apache APISIX 默认密钥漏洞 CVE-2020-13945
  • [023-2].第2节：SpringBoot中接收参数相关注解