当前位置： 首页 > news >正文

【Hadoop】 YARN 运行过程/YARN设计目标

news 来源：原创 2024/5/9 17:40:12

  • YARN 运行过程剖析
  • YARN设计目标

YARN 运行过程剖析

在这里插入图片描述
一个Job在YARN中的处理过程：

  1. 客户端向RM提交一个job，进入RM中的调度器队列以供调度
  2. RM中的AppManager与NM协商协商好一个容器，以启动一个App Master实例
  3. App Master启动之后向RM注册并根据Job的task情况来请求容器
  4. NM启动容器运行task，运行过程中向App Master回报进度状态信息，同时NM也会定时地向RM汇报容器的使用情况
  5. 在容器执行期间，客户端可以通过查询RM或直接与App Master联系来获取应用的进度和状态
  6. 执行完成之后，App Master向RM报告结束并释放容器资源

在这个过程中：

  • ResourceManager是单点故障。可以配置Zookeeper来解决这个问题，实现HA高可用
  • NodeManager失败后，RM将失败任务告诉对应的App Master，AM决定如何处理失败的任务
  • ApplicationMaster失败后，由RM负责重启。 AM需处理内部任务的容错问题。RM/AppMaster会保存完成的Task，重启后无需重新运行

YARN设计目标

YARN提供一个通用的统一资源管理系统，能够同时运行长应用程序和短应用程序

  • 长应用程序通常情况下，永不停止运行的程序。比如程序- Service、HTTP Server等
  • 短应用程序是在短时间(秒级、分钟级、小时级)内会运行结束的程序。比如MRjob、Spark Job等

在这里插入图片描述

相关文章：

  • 关于“Python”的核心知识点整理大全36
  • 从0到1部署gitlab自动打包部署项目
  • Google 提示：切忌滥用 DORA 指标
  • Linux: DB: MariaDB: 10.6 升级导致的兼容问题
  • Tomcat转SpringBoot、tomcat升级到springboot、springmvc改造springboot
  • DRF从入门到精通二（Request源码分析、DRF之序列化、反序列化、反序列化校验、序列化器常用字段及参数、source、定制字段、保存数据）
  • 【音视频】Mesh、Mcu、SFU三种框架的总结
  • 洛谷 NOIP2016 普及组 回文日期
  • TensorFlow（2）：Windows安装TensorFlow
  • Maths
  • myspl左外连
  • Echarts饼图tooltip渐变色，内部legend百分比保留整数方法
  • Flutter本地化(国际化)之App名称
  • 压力测试（超详细总结）
  • 【Spring实战】配置多数据源
  • 「前端早读君006」移动开发必备：那些玩转H5的小技巧
  • 「译」Node.js Streams 基础
  • Akka系列（七）：Actor持久化之Akka persistence
  • Go 语言编译器的 //go: 详解
  • Invalidate和postInvalidate的区别
  • php ci框架整合银盛支付
  • QQ浏览器x5内核的兼容性问题
  • SQL 难点解决：记录的引用
  • 从setTimeout-setInterval看JS线程
  • 大主子表关联的性能优化方法
  • 订阅Forge Viewer所有的事件
  • 利用jquery编写加法运算验证码
  • 浅谈web中前端模板引擎的使用
  • 听说你叫Java（二）–Servlet请求
  • 移动端 h5开发相关内容总结(三)
  • 用quicker-worker.js轻松跑一个大数据遍历
  • zabbix3.2监控linux磁盘IO
  • # 执行时间 统计mysql_一文说尽 MySQL 优化原理
  • #我与Java虚拟机的故事#连载02：“小蓝”陪伴的日日夜夜
  • （顶刊）一个基于分类代理模型的超多目标优化算法
  • （二）Linux——Linux常用指令
  • (附源码)计算机毕业设计ssm本地美食推荐平台
  • (附源码)计算机毕业设计ssm高校《大学语文》课程作业在线管理系统
  • （牛客腾讯思维编程题）编码编码分组打印下标题目分析
  • (十六)一篇文章学会Java的常用API
  • （数据结构）顺序表的定义
  • (四) 虚拟摄像头vivi体验
  • （已解决）vue+element-ui实现个人中心，仿照原神
  • （转）3D模板阴影原理
  • （转）http协议
  • （转）iOS字体
  • (转载)深入super，看Python如何解决钻石继承难题
  • *p=a是把a的值赋给p，p=a是把a的地址赋给p。
  • .Net CF下精确的计时器
  • .NET3.5下用Lambda简化跨线程访问窗体控件,避免繁复的delegate,Invoke(转)
  • .net企业级架构实战之7——Spring.net整合Asp.net mvc
  • .Net下C#针对Excel开发控件汇总(ClosedXML,EPPlus,NPOI)
  • .Net转Java自学之路—SpringMVC框架篇六（异常处理）
  • [ Linux ] git工具的基本使用（仓库的构建，提交）
  • [2013][note]通过石墨烯调谐用于开关、传感的动态可重构Fano超——