当前位置: 首页 > news >正文

Hadoop3:Yarn框架的三种调度算法

一、概述

目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler
CDH框架默认调度器是Fair Scheduler

配置:yarn-default.xml

<property><description>The class to use as the resource scheduler.</description><name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

二、先进先出调度器(FIFO)

算法逻辑:单队列,根据提交作业的先后顺序,先来先服务。
在这里插入图片描述
生产环境中基本不用

三、容量调度器(Capacity Scheduler)[重点]

Capacity SchedulerYahoo开发的多用户调度器。
在这里插入图片描述

案例说明

在这里插入图片描述

四、公平调度器(Fair Schedulere)

Fair SchedulereFacebook开发的多用户调度器。
在这里插入图片描述

缺额

在这里插入图片描述
比如,一个任务,应获得的资源是10G内存,但是,实际分配到的只有6G内存,所以,缺额为4G

DRF策略

在这里插入图片描述

Fair策略

在这里插入图片描述

案例说明

在这里插入图片描述在这里插入图片描述

相关文章:

  • SUPERVIVE无法联机、联机失败、联机报错的解决办法分享
  • AI与音乐:终极对决,机械混音师将扬弃人类知识!
  • Webpack: 开发 PWA、Node、Electron 应用
  • C语言笔记27 •单链表介绍•
  • Yolov8可视化界面使用说明,含代码
  • FastAPI 基本路由
  • 新能源行业知识体系-------主目录-----持续更新
  • Java校园跑腿小程序校园代买帮忙外卖源码社区外卖源码
  • C语言的数据结构:图的操作
  • 不要再被骗了!电脑无法进入系统的原因可能是这个硬件坏了而已……
  • lodash.js 工具库
  • Follow Carl To Grow|【LeetCode】93.复原IP地址,78.子集,90.子集II
  • 小红书多账号管理平台哪个好用?可以快速监测多个小红书账号的数据吗?
  • Python 提取图片主色调
  • Canvas 指纹:它是什么以及如何绕过它
  • hexo+github搭建个人博客
  • 345-反转字符串中的元音字母
  • Docker: 容器互访的三种方式
  • ES6语法详解(一)
  • Travix是如何部署应用程序到Kubernetes上的
  • yii2中session跨域名的问题
  • 后端_ThinkPHP5
  • 基于 Ueditor 的现代化编辑器 Neditor 1.5.4 发布
  • 基于Android乐音识别(2)
  • 如何设计一个微型分布式架构?
  • k8s使用glusterfs实现动态持久化存储
  • 格斗健身潮牌24KiCK获近千万Pre-A轮融资,用户留存高达9个月 ...
  • ​MPV,汽车产品里一个特殊品类的进化过程
  • # 安徽锐锋科技IDMS系统简介
  • $(function(){})与(function($){....})(jQuery)的区别
  • (DFS + 剪枝)【洛谷P1731】 [NOI1999] 生日蛋糕
  • (多级缓存)多级缓存
  • (四)模仿学习-完成后台管理页面查询
  • (原创)boost.property_tree解析xml的帮助类以及中文解析问题的解决
  • (转)http协议
  • (转)淘淘商城系列——使用Spring来管理Redis单机版和集群版
  • .NET Core WebAPI中使用Log4net 日志级别分类并记录到数据库
  • .net core 控制台应用程序读取配置文件app.config
  • .NET Framework 3.5中序列化成JSON数据及JSON数据的反序列化,以及jQuery的调用JSON
  • .php结尾的域名,【php】php正则截取url中域名后的内容
  • ?php echo ?,?php echo Hello world!;?
  • @SuppressWarnings注解
  • [1127]图形打印 sdutOJ
  • [Algorithm][动态规划][01背包问题][目标和][最后一块石头的重量Ⅱ]详细讲解
  • [BT]BUUCTF刷题第4天(3.22)
  • [BZOJ2850]巧克力王国
  • [codevs 2822] 爱在心中 【tarjan 算法】
  • [Editor]Unity Editor类常用方法
  • [ERROR] Plugin 'InnoDB' init function returned error
  • [IE编程] 如何编程清除IE缓存
  • [iOS]Win8下iTunes无法连接iPhone版本的解决方法
  • [JavaWeb]—前端篇
  • [JS设计模式]Prototype Pattern
  • [LeetCode] 2.两数相加
  • [LeetCode] Copy List with Random Pointer 拷贝带有随机指针的链表