当前位置: 首页 > news >正文

动手学深度学习33 单机多卡并行

单机多卡并行

更多的芯片
https://courses.d2l.ai/zh-v2/assets/pdfs/part-2_2.pdf

多GPU训练
https://courses.d2l.ai/zh-v2/assets/pdfs/part-2_3.pdf

在这里插入图片描述

当transformer模型很大,有100GB的时候只能用模型并行。
在这里插入图片描述

数据并行,拿的参数是完整的?
在这里插入图片描述
在这里插入图片描述

QA

1 当有一块卡显存更大的时候,可以把数据批量设大一些,单独给大显存的卡数据多一些。
2 梯度累加起来。
3 存储模型,梯度。中间数据量的大小取决于数据批量大小。批量变小,矩阵运算变小,性能会低。
4 模型并行可以做到一定程度的并行,并行程度会低
5 独立显卡会比集成显卡快很多。
6 无人车关心功耗,希望拿到server端的效果但是功耗要低。

相关文章:

  • 【 EI会议 | 西南大学主办 | 往届均已实现检索】第三届神经形态计算国际会议(ICNC 2024)
  • hana 中的缓存视图功能,类似ORACLE 中的 物化视图功能
  • Tinymce富文本编辑器在el-dialog中遮挡的问题
  • Jenkins 内置变量 和变量作用域
  • 【成品设计】基于物联网的停车管理系统设计与实现
  • Spring Boot:Java 应用开发高效之道
  • 数据结构之初识泛型
  • idea有这个类却报红,无法用快捷键找到
  • k8s+RabbitMQ单机部署
  • 面试题——Spring
  • 我的创作纪念日 CF1620D Exact Change 题解
  • Python - 处理电子书的库
  • 【代码随想录训练营】【Day 49+】【动态规划-8】| Leetcode 121, 122, 123
  • C#使用OpenXml读取Word、PPT、Excel文档内容
  • linux pip 离线安装
  • [Vue CLI 3] 配置解析之 css.extract
  • [译] React v16.8: 含有Hooks的版本
  • 【跃迁之路】【463天】刻意练习系列222(2018.05.14)
  • angular2 简述
  • css选择器
  • JS函数式编程 数组部分风格 ES6版
  • k个最大的数及变种小结
  • Markdown 语法简单说明
  • Material Design
  • SOFAMosn配置模型
  • Vue 重置组件到初始状态
  • 第2章 网络文档
  • 基于Android乐音识别(2)
  • 手机app有了短信验证码还有没必要有图片验证码?
  • UI设计初学者应该如何入门?
  • !!java web学习笔记(一到五)
  • #565. 查找之大编号
  • (AtCoder Beginner Contest 340) -- F - S = 1 -- 题解
  • (pojstep1.1.1)poj 1298(直叙式模拟)
  • (第61天)多租户架构(CDB/PDB)
  • (附源码)springboot高校宿舍交电费系统 毕业设计031552
  • (每日持续更新)信息系统项目管理(第四版)(高级项目管理)考试重点整理第3章 信息系统治理(一)
  • (太强大了) - Linux 性能监控、测试、优化工具
  • (转)Linux下编译安装log4cxx
  • (轉貼) 2008 Altera 亞洲創新大賽 台灣學生成果傲視全球 [照片花絮] (SOC) (News)
  • ***利用Ms05002溢出找“肉鸡
  • .NET 6 在已知拓扑路径的情况下使用 Dijkstra,A*算法搜索最短路径
  • .NET Core IdentityServer4实战-开篇介绍与规划
  • .NET delegate 委托 、 Event 事件
  • .NET国产化改造探索(三)、银河麒麟安装.NET 8环境
  • .NET设计模式(7):创建型模式专题总结(Creational Pattern)
  • .NET项目中存在多个web.config文件时的加载顺序
  • //usr/lib/libgdal.so.20:对‘sqlite3_column_table_name’未定义的引用
  • @ComponentScan比较
  • @DS 多数据源 + @Transactional(rollbackFor = Exception.class) 导致@DS 多数据源没法使用
  • @EnableAsync和@Async开始异步任务支持
  • @for /l %i in (1,1,10) do md %i 批处理自动建立目录
  • [ element-ui:table ] 设置table中某些行数据禁止被选中,通过selectable 定义方法解决
  • [1] 平面(Plane)图形的生成算法
  • [2019.3.20]BZOJ4573 [Zjoi2016]大森林