当前位置: 首页 > news >正文

场景文本检测识别学习 day02(AlexNet论文阅读、ResNet论文精读)

怎么读论文

  • 在第一遍阅读的时候,只需要看题目,摘要和结论,先看题目是不是跟我的方向有关,看摘要是不是用到了我感兴趣的方法,看结论他是怎么解决摘要中提出的问题,或者怎么实现摘要中的方法,然后决定我要不要继续看第二遍
  • 在第二遍阅读的时候不需要关注太过工程性的技巧,比如输入数据是怎么转换的,网络是怎么做分布式训练的,第二遍阅读重点关注方法上的创新或者方法上的技巧,因为工程上的技巧很复杂,不容易复现,但是方法上的创新相对比较简单

AlexNet论文精读感想

  • 在介绍部分,我们不能只介绍自己使用的方法,这很窄,比如我想用DETR,那我就不能只介绍DETR,我可以介绍一下传统的OCR,比如CNN,YOLO等
  • 对于图片领域来说,整个机器学习就是在做压缩,将本来人能看懂的输入图片,经过一个模型,最后压缩成一个向量,这个向量机器能够识别,机器能够学习之后,就能够拿它来做搜索、分类等各种各样的事情
  • 权重衰减(weight decay)在深度学习中等价于L2正则化,都是让权重w的更新额外包括一个权重衰减项 λ w k λw_k λwk,从而当权重特别大的时候,w的更新也会特别大。而往往刚开始的损失特别大,即模型会让权重w以特别大的步伐向较小的权重w迈进,最终导致不让模型学习到过大的权重,权重w的更新规则如下:
    在这里插入图片描述
  • 正则化是机器学习和统计建模中常用的一种技术,旨在减少模型的过拟合,提高模型的泛化能力。通过对模型添加约束或惩罚,正则化方法鼓励模型学习更加平滑或更简单的预测函数,从而不会对训练数据中的随机噪声做过度复杂的拟合。在实践中,这通常意味着对模型参数(如权重)的大小进行限制。
    • L1正则化:向损失函数添加参数的绝对值之和作为惩罚项。L1正则化倾向于产生稀疏的参数向量,即大多数参数值为零,这有助于特征选择,因为它可以自动忽略不重要的特征。
    • L2正则化:向损失函数添加参数的平方和作为惩罚项。L2正则化鼓励参数值趋向于较小的大小,从而避免任何参数对模型的预测产生过大的影响。这种方法对于处理参数间高度相关的数据特别有效。

ResNet论文精读感想

  • 在计算机视觉领域,可以重点关注某些竞赛的冠军、亚军,特别是那些提出了不一样的架构、方法的论文

相关文章:

  • 【话题:工作生活】2022年工作总结--疫情下的上海,疫情中的我。
  • 大语言模型如何工作?
  • PTA 位运算
  • ffmpeg 从现有视频中截取一段
  • 【Node.js】短链接
  • 无线游戏手柄的测试(Windows11系统手柄调试方法)
  • 构建高可用性数据库架构:深入探索Oracle Active Data Guard(ADG)
  • 【Leetcode每日一题】 递归 - 二叉树剪枝(难度⭐⭐)(50)
  • DataLoader的使用
  • RabbitMQ3.13.x之七_RabbitMQ消息队列模型
  • 如何在Flutter应用中配置ipa Guard进行混淆
  • Spring之事务底层源码解析
  • 懒人必备!4个PS抠图技巧,让你轻松处理复杂背景!
  • 使用阿里云试用Elasticsearch学习:2.3 深入搜索——多字段搜索
  • JDK安全剖析之安全处理入门
  • 分享一款快速APP功能测试工具
  • [笔记] php常见简单功能及函数
  • 《Java8实战》-第四章读书笔记(引入流Stream)
  • 《用数据讲故事》作者Cole N. Knaflic:消除一切无效的图表
  • 【108天】Java——《Head First Java》笔记(第1-4章)
  • 【402天】跃迁之路——程序员高效学习方法论探索系列(实验阶段159-2018.03.14)...
  • 【跃迁之路】【641天】程序员高效学习方法论探索系列(实验阶段398-2018.11.14)...
  • 2018天猫双11|这就是阿里云!不止有新技术,更有温暖的社会力量
  • const let
  • django开发-定时任务的使用
  • gulp 教程
  • Java IO学习笔记一
  • pdf文件如何在线转换为jpg图片
  • PHP的类修饰符与访问修饰符
  • Puppeteer:浏览器控制器
  • python学习笔记 - ThreadLocal
  • yii2中session跨域名的问题
  • 产品三维模型在线预览
  • 前端学习笔记之原型——一张图说明`prototype`和`__proto__`的区别
  • 智能网联汽车信息安全
  • 东超科技获得千万级Pre-A轮融资,投资方为中科创星 ...
  • ​马来语翻译中文去哪比较好?
  • # include “ “ 和 # include < >两者的区别
  • #100天计划# 2013年9月29日
  • #NOIP 2014# day.2 T2 寻找道路
  • #pragma pack(1)
  • ${factoryList }后面有空格不影响
  • (02)Hive SQL编译成MapReduce任务的过程
  • (day6) 319. 灯泡开关
  • (动态规划)5. 最长回文子串 java解决
  • (分享)自己整理的一些简单awk实用语句
  • (附源码)计算机毕业设计SSM教师教学质量评价系统
  • (亲测)设​置​m​y​e​c​l​i​p​s​e​打​开​默​认​工​作​空​间...
  • (算法)N皇后问题
  • (译) 理解 Elixir 中的宏 Macro, 第四部分:深入化
  • (转)http-server应用
  • (转)菜鸟学数据库(三)——存储过程
  • (转载)虚函数剖析
  • *_zh_CN.properties 国际化资源文件 struts 防乱码等
  • *setTimeout实现text输入在用户停顿时才调用事件!*