当前位置： 首页 > news >正文

pytorch模型可复现设置(cudnn.benchmark 加速卷积运算 cudnn.deterministic)

news 来源：原创 2024/5/3 3:03:30

      在代码前加设torch.backends.cudnn.benchmark = True可以提升训练速度。会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，进而实现网络的加速。但是由于计算中有随机性，每次的网络结果可能会略有差异

      torch.backends.cudnn.deterministic = True 固定cuda的随机数种子，每次返回的卷积算法将是确定的。可以避免benchmark=True的差异

如果是复现模型结果的话(reproducibility=True)，应该用这个配置

random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)

torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True

mmdetection也这么写

否则 ，（reproducibility=False）：

random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)

torch.backends.cudnn.benchmark = True
torch.backends.cudnn.deterministic = False

相关文章：

  • Python sys.stdout
  • Python vars()函数
  • Python类的self
  • Python输出numpy array带逗号和不带逗号
  • center loss 中心损失
  • torch与lua的关系
  • Python类super(super().__init__())
  • 自回归模型(Autoregressive model)(auto)
  • Pytorch tensorboard与tensorboardX的区别
  • Pytorch中的BN和IN(affine仿射, track_running_stats)
  • Pytorch修改tensor值
  • Siamese Network(孪生网络/连体网络) (few-shot learning)
  • inplace=True (原地操作)
  • 服务器内存泄漏
  • linux快速目录切换(cd - ,dirs, pushd, popd)
  • 【Leetcode】104. 二叉树的最大深度
  • gcc介绍及安装
  • GitUp, 你不可错过的秀外慧中的git工具
  • JDK 6和JDK 7中的substring（）方法
  • Laravel核心解读--Facades
  • LeetCode18.四数之和 JavaScript
  • React-Native - 收藏集 - 掘金
  • spring boot下thymeleaf全局静态变量配置
  • Vue 重置组件到初始状态
  • Web标准制定过程
  • windows下使用nginx调试简介
  • 阿里云购买磁盘后挂载
  • 机器学习中为什么要做归一化normalization
  • 记一次删除Git记录中的大文件的过程
  • 讲清楚之javascript作用域
  • 区块链技术特点之去中心化特性
  • 容器服务kubernetes弹性伸缩高级用法
  • 如何借助 NoSQL 提高 JPA 应用性能
  • 收藏好这篇，别再只说“数据劫持”了
  • 首页查询功能的一次实现过程
  • 我的面试准备过程--容器(更新中)
  • 智能情侣枕Pillow Talk，倾听彼此的心跳
  • ​总结MySQL 的一些知识点：MySQL 选择数据库​
  • (2020)Java后端开发----（面试题和笔试题）
  • (2022 CVPR) Unbiased Teacher v2
  • （Pytorch框架）神经网络输出维度调试，做出我们自己的网络来！！（详细教程~）
  • (zz)子曾经曰过：先有司，赦小过，举贤才
  • （附源码）ssm高校运动会管理系统 毕业设计 020419
  • (免费领源码）python#django#mysql校园校园宿舍管理系统84831-计算机毕业设计项目选题推荐
  • (一) storm的集群安装与配置
  • （一）【Jmeter】JDK及Jmeter的安装部署及简单配置
  • (原創) 系統分析和系統設計有什麼差別? (OO)
  • （转）es进行聚合操作时提示Fielddata is disabled on text fields by default
  • .cfg\.dat\.mak（持续补充）
  • .NET Core工程编译事件$(TargetDir)变量为空引发的思考
  • .NET/ASP.NETMVC 大型站点架构设计—迁移Model元数据设置项（自定义元数据提供程序）...
  • .Net8 Blazor 尝鲜
  • .net开发引用程序集提示没有强名称的解决办法
  • /ThinkPHP/Library/Think/Storage/Driver/File.class.php 　LINE: 48
  • @reference注解_Dubbo配置参考手册之dubbo:reference