当前位置: 首页 > news >正文

Pytorch torch.utils.data.DataLoader(二) —— pin_memory锁页内存 drop_last num_works

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,
           batch_sampler=None, num_workers=0, collate_fn=None,
           pin_memory=False, drop_last=False, timeout=0,
           worker_init_fn=None, *, prefetch_factor=2,
           persistent_workers=False)

pin_memory

      pin_memory就是锁页内存。主机中的内存,有两种存在方式,一是锁页,二是不锁页,锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换(注:虚拟内存就是硬盘),而不锁页内存在主机内存不足时,数据会存放在虚拟内存中。

       创建DataLoader时,设置pin_memory=True,则意味着生成的Tensor数据最开始是属于内存中的锁页内存,这样将内存的Tensor转义到GPU的显存就会更快一些。(显卡中的显存全部是锁页内存!)

     当计算机的内存充足的时候,可以设置pin_memory=True。当系统卡住,或者交换内存使用过多的时候,设置pin_memory=False。因为pin_memory与电脑硬件性能有关,pytorch开发者不能确保每一个炼丹玩家都有高端设备,因此pin_memory默认为False。

     如果想提速的话设置pin_memory=True。一般搭配x.cuda(non_blocking=True)。这样将数据从CPU移动到GPU的时候,它是异步的。在它传输的时候,CPU还可以干其他的事情


 

drop_last

drop_last默认是False

如果设置为True:这个是对最后的未完成的batch来说的,比如你的batch_size设置为64,而一个epoch只有100个样本,那么训练的时候后面的36个就被扔掉了…

如果为False(默认),那么会继续正常执行,只是最后的batch_size会小一点。
 

num_works

默认是0

num_workers属性告诉DataLoader实例要使用多少个子进程进行数据加载。默认情况下,num_workers值被设置为0,0值代表告诉加载器在主进程内部加载数据。

如果__getitem__中包含运算的话(如对图片的resize,灰度,归一化处理等),设置num_works>0, 并行读取。当设置num_works>0的时候,具体是多少最优要去尝试

相关文章:

  • Pytorch分布式训练/多卡训练(三) —— Model Parallel 并行
  • Pytorch backend 通信后端
  • PyTorch多卡/多GPU/分布式DPP的基本概念(noderanklocal_ranknnodesnode_ranknproc_per_nodeworld_size)
  • Pytorch函数keepdim=True
  • Python opencv putText()中文乱码问题
  • Python类的__call__方法
  • Python处理XML(ElementTree)
  • Pytorch为不同层设置不同的学习率(全局微调)
  • PIL Image和opencv读入图片相互转化
  • Python 星号表达式*(starred expression / unpack / 解包)
  • Pytorch/Python计算交并比IOU(IU)代码(批量算IOU)
  • Pytorch apply() 函数
  • Python namedtuple数据结构(命名元组)(collections)
  • numpy/pytorch 高级索引(整数数组索引 布尔索引)
  • Python Type Hint(类型标注/类型提示) (箭头 ->)(type annotation)
  • 【跃迁之路】【519天】程序员高效学习方法论探索系列(实验阶段276-2018.07.09)...
  • CSS3 聊天气泡框以及 inherit、currentColor 关键字
  • Druid 在有赞的实践
  • E-HPC支持多队列管理和自动伸缩
  • Eureka 2.0 开源流产,真的对你影响很大吗?
  • fetch 从初识到应用
  • Flex布局到底解决了什么问题
  • JavaScript函数式编程(一)
  • MQ框架的比较
  • php的插入排序,通过双层for循环
  • Python进阶细节
  • vuex 笔记整理
  • 配置 PM2 实现代码自动发布
  • 责任链模式的两种实现
  • shell使用lftp连接ftp和sftp,并可以指定私钥
  • 通过调用文摘列表API获取文摘
  • ​​​​​​​sokit v1.3抓手机应用socket数据包: Socket是传输控制层协议,WebSocket是应用层协议。
  • "无招胜有招"nbsp;史上最全的互…
  • #Linux(make工具和makefile文件以及makefile语法)
  • (1)(1.13) SiK无线电高级配置(六)
  • (3)STL算法之搜索
  • (day 12)JavaScript学习笔记(数组3)
  • (delphi11最新学习资料) Object Pascal 学习笔记---第2章第五节(日期和时间)
  • (Java数据结构)ArrayList
  • (二)Eureka服务搭建,服务注册,服务发现
  • (分布式缓存)Redis哨兵
  • (附源码)springboot社区居家养老互助服务管理平台 毕业设计 062027
  • (强烈推荐)移动端音视频从零到上手(上)
  • (推荐)叮当——中文语音对话机器人
  • (原創) 是否该学PetShop将Model和BLL分开? (.NET) (N-Tier) (PetShop) (OO)
  • (转)如何上传第三方jar包至Maven私服让maven项目可以使用第三方jar包
  • .NET 使用 JustAssembly 比较两个不同版本程序集的 API 变化
  • .net 使用$.ajax实现从前台调用后台方法(包含静态方法和非静态方法调用)
  • .net 无限分类
  • .net实现客户区延伸至至非客户区
  • .Net组件程序设计之线程、并发管理(一)
  • .sys文件乱码_python vscode输出乱码
  • @Repository 注解
  • @RequestParam详解
  • [ vulhub漏洞复现篇 ] ECShop 2.x / 3.x SQL注入/远程执行代码漏洞 xianzhi-2017-02-82239600