当前位置: 首页 > news >正文

优化yarn在任务执行时核数把控不准确的问题

核数不准这个事情是个概率问题,如果你碰见了,只能说你有点非欧,本质上是因为集群配置问题,默认时yarn不会去精准把控任务的核数,因为默认的资源计算方式是用实际内存去估算核数,这就导致如果大家配置任务时,如果实际内存占用比较多,yarn的资源计算可能结果就会和实际的产生误差,导致资源的使用出现各种问题

如果你想要让yarn准确的计算使用多少核,那么需要更改所有节点中的capacity-scheduler.xml配置文件

原配置文件中的
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator
要修改为
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

这样大家再去看的时候就会发现核数也是正确的了,其实yarn之所以这样,想想也好理解,核数是定死的,但是内存本质上受Hadoop最小申请资源数和规整化因子的原因,使得内存的使用其实是不饱满的,所有yarn时刻注意内存的理论使用情况,从而没有太多注意核数和continer,以此为程序员提供一个可参考的内存数字,不然内存不够会OOM的!!!

相关文章:

  • 席卷的B站《植物大战僵尸杂交版》V2.0.88整合包,PC和手机可用,含通关存档和视频教程!
  • Ant-design-vue开源项目介绍、应用场景、组件有哪些
  • 单目标应用:基于三角拓扑聚合优化算法TTAO的微电网优化(MATLAB代码)
  • 【后端】Java学习笔记(二周目-1)
  • 【多模态/CV】图像数据增强数据分析和处理
  • 网络规划与设计知识整理
  • 【车载音视频电脑】嵌入式AI分析车载DVR,支持8路1080P
  • route 网关添加查看和删除
  • MySQL基础---库的操作和表的操作(配着自己的实操图,简单易上手)
  • CAPL如何在底层模拟TCP Server端建立TCP连接
  • redis清空list
  • 怎么取消Intellij IDEA中的项目和Git仓库的关联
  • MySQL复制机制详解:主从复制与GTID复制的配置与管理
  • Linux:线程概念 线程控制
  • pytorch神经网络训练(AlexNet)
  • 【译】JS基础算法脚本:字符串结尾
  • 「面试题」如何实现一个圣杯布局?
  • ES6--对象的扩展
  • JavaScript标准库系列——Math对象和Date对象(二)
  • jquery ajax学习笔记
  • learning koa2.x
  • Leetcode 27 Remove Element
  • PHP面试之三:MySQL数据库
  • Python实现BT种子转化为磁力链接【实战】
  • Traffic-Sign Detection and Classification in the Wild 论文笔记
  • Vue.js 移动端适配之 vw 解决方案
  • 阿里云前端周刊 - 第 26 期
  • 从PHP迁移至Golang - 基础篇
  • 那些年我们用过的显示性能指标
  • 驱动程序原理
  • 容器化应用: 在阿里云搭建多节点 Openshift 集群
  • 十年未变!安全,谁之责?(下)
  • ​ 无限可能性的探索:Amazon Lightsail轻量应用服务器引领数字化时代创新发展
  • $.ajax()
  • (02)vite环境变量配置
  • (1)bark-ml
  • (27)4.8 习题课
  • (C++17) std算法之执行策略 execution
  • (pojstep1.3.1)1017(构造法模拟)
  • (第61天)多租户架构(CDB/PDB)
  • (考研湖科大教书匠计算机网络)第一章概述-第五节1:计算机网络体系结构之分层思想和举例
  • (图)IntelliTrace Tools 跟踪云端程序
  • (五)IO流之ByteArrayInput/OutputStream
  • . NET自动找可写目录
  • .gitignore文件忽略的内容不生效问题解决
  • .NET 服务 ServiceController
  • .NET 直连SAP HANA数据库
  • .NET/C# 编译期间能确定的相同字符串,在运行期间是相同的实例
  • .NET设计模式(2):单件模式(Singleton Pattern)
  • .NET中使用Protobuffer 实现序列化和反序列化
  • .project文件
  • // an array of int
  • ??javascript里的变量问题
  • @AutoConfigurationPackage的使用
  • @Mapper作用