当前位置: 首页 > news >正文

tensorflow tips:features,batch_size,iteration,epoch, global_step, shard

example相当于一个单位的训练数据,例如一张图片,example包含features,features包含多个feature,feature即一个格式为Int64List或BytesList等格式的数据,例如一张图片包含的feature有:height, width,channels,filename,format等等。


如果batch_size==1,相当于学完一张图片就更新参数, 这样会导致特征不明显,参数振荡,两次的学习结果可能会互相抵消;如果batch_size=images_num(一个epoch), 相当于遍历完所有图片进行权值更新,这样训练的速度太慢。所以可以综合一下,取一个合适值。关于batch_size的取值问题参考:点击打开链接


epoch是整个训练数据集,当数据集不大时,直接batch_size=image_num,数据集大时可能资源不够,将epoch分成多个batches。


iteration是完成一次epoch所需的batch个数,也是batch_num。


global_step在训练中是计数的作用,每训练一个batch就加1,一般会设置一个max_number_of_steps,到达后训练结束。如在cifar10_train.py中,训练100K steps,训练了256个epoches。


读取数据例如图片集时,会创建多个线程来增加速度,读取图片后将数据存进tfrecord文件,为了加速读取,可设置多个存入数据的文件即rfrecord文件,这个tfrecord文件数就是shard的值,每一个线程均分设置的shard数量,所以shard数应当是thread数的倍数

相关文章:

  • Argument must be a dense tensor: range(0, 3) - got shape [3], but wanted []
  • ubuntu 18.04自动更新后分辨率只剩下640x480选项
  • python3运行《21个项目玩转深度学习》遇到的问题
  • ubuntu18.04 pip3 install gym[all]出错
  • ubuntu18.04 docker安装+docker使用caffe+一般caffe安装
  • 深度学习剖根问底:交叉熵和KL散度的区别
  • Ubuntu18.04 国内环境使用kubeadm安装kubernetes+docker(单机版)
  • python PIL image.show() 之后如何关闭
  • PyInstaller 打包 .py文件为windows下.exe执行文件遇到的种种
  • python threading中的thread开始和停止
  • 如何修改/固定matplotlib显示图片窗口在屏幕上的位置
  • 基于Pytorch理解attention decoder网络结构
  • Pytorch和Tensorflow在实现RNN上的区别
  • Keras使用心得记录
  • tensorflow BERT学习记录--使用自己的训练集--run_classifier.py
  • DataBase in Android
  • Django 博客开发教程 8 - 博客文章详情页
  • Effective Java 笔记(一)
  • ES6系统学习----从Apollo Client看解构赋值
  • Javascript 原型链
  • Netty源码解析1-Buffer
  • Swift 中的尾递归和蹦床
  • TCP拥塞控制
  • Vultr 教程目录
  • windows-nginx-https-本地配置
  • 简单实现一个textarea自适应高度
  • 浅谈web中前端模板引擎的使用
  • 腾讯视频格式如何转换成mp4 将下载的qlv文件转换成mp4的方法
  • 用 vue 组件自定义 v-model, 实现一个 Tab 组件。
  • 正则表达式
  • 【运维趟坑回忆录 开篇】初入初创, 一脸懵
  • ionic异常记录
  • ​低代码平台的核心价值与优势
  • (剑指Offer)面试题34:丑数
  • (教学思路 C#之类三)方法参数类型(ref、out、parmas)
  • (原創) 如何安裝Linux版本的Quartus II? (SOC) (Quartus II) (Linux) (RedHat) (VirtualBox)
  • (转)C#调用WebService 基础
  • (转)Oracle存储过程编写经验和优化措施
  • ... 是什么 ?... 有什么用处?
  • .halo勒索病毒解密方法|勒索病毒解决|勒索病毒恢复|数据库修复
  • .net core 依赖注入的基本用发
  • .net分布式压力测试工具(Beetle.DT)
  • .NET下的多线程编程—1-线程机制概述
  • /ThinkPHP/Library/Think/Storage/Driver/File.class.php  LINE: 48
  • @requestBody写与不写的情况
  • [ HTML + CSS + Javascript ] 复盘尝试制作 2048 小游戏时遇到的问题
  • [ 数据结构 - C++] AVL树原理及实现
  • [AIGC] Redis基础命令集详细介绍
  • [ai笔记4] 将AI工具场景化,应用于生活和工作
  • [Android实例] 保持屏幕长亮的两种方法 [转]
  • [BZOJ] 2006: [NOI2010]超级钢琴
  • [C++]类和对象(中)
  • [echarts] y轴不显示0
  • [KMP求最小循环节][HDU1358][Period]
  • [Linux] PHP程序员玩转Linux系列-telnet轻松使用邮箱