当前位置： 首页 > news >正文

hadoop 中什么是slots

news 来源：原创 2024/5/6 4:13:04

2019独角兽企业重金招聘Python工程师标准>>> hot3.png


资源slot概述
slot不是cpu的core,不是memory chip,他是一个逻辑概念，一个节点slot的数量表示
某个节点资源的容量或者说是能力的大小，因而slot是hadoop的资源单位
比方说人的工作能力
map slots
reducer slots
现在越来越多的观点认为改改打破这种界限，视为统一的资源池，从而提高资源利用率，区别map slots和reduce slots的概念，容易导致某种资源紧张，而另一种资源空闲，2.x中yarn中取消了map slots和reduce slots的概念，将JobTracker的功能一分为二，用ResourceManager来管理节点资源，用ApplicationMaster来监控与调度作业，ApplicationMaster是每个Application都有的一个单独实例，Application是用户提交的一组任务，可以是一个或多个job的任务组成。
Hadoop中通常每个tasktracker会包含多个slots，Job的一个task均对应于tasktracker中的一个slot。系统中map slots总数与reducer slots总数的计算公式如下：
Map slots总数=集群节点数×mapred.tasktracker.map.tasks.maximum
Reducer slots总数=集群节点数×mapred.tasktracker.reduce.tasks.maximum

转载于:https://my.oschina.net/iioschina/blog/842612

相关文章：

  • 构建NCBI本地BLAST数据库 (NR NT等) | blastx/diamond使用方法 | blast构建索引 | makeblastdb...
  • 在一个公司待上多久跳槽最合适？
  • MySQLMySql免安装版安装配置
  • C# Json.Net解析实例
  • 第三方模拟器连接Android studio
  • 什么是TKinter
  • POJ3254 Corn Fields
  • CSS颜色大全
  • Elasticsearch之IKAnalyzer的过滤停止词
  • ubuntu 14.04 安装jdk 1.8
  • 提升用户体验的利器——使用Vue-Occupy实现占位效果
  • js 获取图片url的Blob值并预览
  • thinkphp5在URL地址里隐藏模块名
  • Rancher v1.2：网络架构解读
  • mongodb 数组操作
  • 【译】JS基础算法脚本：字符串结尾
  • ［分享］iOS开发－关于在xcode中引用文件夹右边出现问号的解决办法
  • 【RocksDB】TransactionDB源码分析
  • Apache Zeppelin在Apache Trafodion上的可视化
  • DataBase in Android
  • Java 实战开发之spring、logback配置及chrome开发神器（六）
  • JS变量作用域
  • mockjs让前端开发独立于后端
  • v-if和v-for连用出现的问题
  • vue.js框架原理浅析
  • Webpack 4 学习01（基础配置）
  • webpack4 一点通
  • 对象引论
  • 今年的LC3大会没了？
  • 微信端页面使用-webkit-box和绝对定位时，元素上移的问题
  • #1015 : KMP算法
  • （23）Linux的软硬连接
  • (70min)字节暑假实习二面（已挂）
  • （8）STL算法之替换
  • (MIT博士）林达华老师－概率模型与计算机视觉”
  • （WSI分类）WSI分类文献小综述 2024
  • （二）什么是Vite——Vite 和 Webpack 区别（冷启动）
  • （二开）Flink 修改源码拓展 SQL 语法
  • （附源码）springboot车辆管理系统 毕业设计 031034
  • (附源码)springboot宠物管理系统 毕业设计 121654
  • （附源码）ssm高校升本考试管理系统 毕业设计 201631
  • （每日持续更新）信息系统项目管理（第四版）（高级项目管理）考试重点整理 第13章 项目资源管理（七）
  • （全部习题答案）研究生英语读写教程基础级教师用书PDF|| 研究生英语读写教程提高级教师用书PDF
  • （四）汇编语言——简单程序
  • （学习日记）2024.04.10：UCOSIII第三十八节：事件实验
  • (原创)攻击方式学习之(4) - 拒绝服务(DOS/DDOS/DRDOS)
  • (转)从零实现3D图像引擎：(8)参数化直线与3D平面函数库
  • .NET 4.0中的泛型协变和反变
  • .NET 8.0 中有哪些新的变化？
  • .NET Framework 和 .NET Core 在默认情况下垃圾回收（GC）机制的不同（局部变量部分）
  • @Autowired 与@Resource的区别
  • @cacheable 是否缓存成功_让我们来学习学习SpringCache分布式缓存，为什么用？
  • @entity 不限字节长度的类型_一文读懂Redis常见对象类型的底层数据结构
  • @selector(..)警告提示
  • [2016.7.test1] T2 偷天换日 [codevs 1163 访问艺术馆（类似）]