当前位置： 首页 > news >正文

Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法

news 来源：原创 2024/9/29 1:23:25

第一种：配置问题

日志信息
这是别人的图片，据楼主排查解决是因为hosts配置问题…
现象：各种无法运行、启动
解决办法：
1、修改日志级别
export HADOOP_ROOT_LOGGER=DEBUG,console
查看下详细信息，定位到具体问题解决

第二种：服务器问题

mapreduce
**现象：**运行到job时卡住不动
**原因：**服务器配置低下，内存小或磁盘小
**解决办法：**修改yarn.site.xml配置

<!--每个磁盘的磁盘利用率百分比-->
<property><name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name><value>95.0</value></property><!--集群内存--><property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value>
</property><!--调度程序最小值-分配-->
<property><name>yarn.scheduler.minimum-allocation-mb</name><value>2048</value>
</property><!--比率，具体是啥比率还没查...-->
<property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.1</value>
</property>

除了服务器集群配置低，也有可能是服务器被攻击或恶意程序占用内存Hadoop的MapReduce进程卡住job/云服务器被矿工挖矿

戏剧的是，我今天还遇到一种情况…现象也是Map后卡在Job，原因是：我运行了计算圆周率程序，刚开始测试没问题后手贱执行1000次，掷10000次…Map过程还好，Job开始便无法运行…
执行PI任务

可能是任务太大了，可以尝试换小的执行

hadoop jar ./hadoop-mapreduce-examples-2.7.3.jar pi 20 20

相关文章：

  • 前端开发攻略---用Vue实现无限滚动的几种方法
  • 10款免费黑科技软件，强烈推荐！
  • Rolla‘s homework：Image Processing with Python Final Project
  • DLRover：蚂蚁集团开源的AI训练革命
  • CS144(所有lab解析)
  • nvm安装nodejs/npm/nvm笔记
  • 当AWR1843发送完设置的固定帧后，如何使其再发送第一次的帧?
  • 功率电感的设计步骤
  • 简述 v-model 双向绑定的原理是什么？
  • 1，用寄存器操作闪烁led灯
  • VMware创建虚拟机
  • 滑不动窗口的秘密—— “滑动窗口“算法 (Java版)
  • npm详解
  • Pytorch线性模型(Linear Model)
  • 引流500+创业粉，抖音口播工具
  • 【399天】跃迁之路——程序员高效学习方法论探索系列（实验阶段156-2018.03.11）...
  • Android路由框架AnnoRouter：使用Java接口来定义路由跳转
  • css的样式优先级
  • C学习-枚举（九）
  • FineReport中如何实现自动滚屏效果
  • HTTP中的ETag在移动客户端的应用
  • Iterator 和 for...of 循环
  • JavaScript的使用你知道几种？(上)
  • Java小白进阶笔记(3)-初级面向对象
  • JS数组方法汇总
  • mac修复ab及siege安装
  • nginx（二）：进阶配置介绍--rewrite用法，压缩，https虚拟主机等
  • Protobuf3语言指南
  • vue 配置sass、scss全局变量
  • Wamp集成环境 添加PHP的新版本
  • Web设计流程优化：网页效果图设计新思路
  • 第三十一到第三十三天：我是精明的小卖家（一）
  • 关于Flux,Vuex,Redux的思考
  • 三分钟教你同步 Visual Studio Code 设置
  • 使用Swoole加速Laravel(正式环境中)
  • 首页查询功能的一次实现过程
  • 网络应用优化——时延与带宽
  • 微信开放平台全网发布【失败】的几点排查方法
  • 小程序 setData 学问多
  • 新手搭建网站的主要流程
  • 再谈express与koa的对比
  • 蚂蚁金服CTO程立：真正的技术革命才刚刚开始
  • ​十个常见的 Python 脚本 (详细介绍 + 代码举例)
  • # 深度解析 Socket 与 WebSocket：原理、区别与应用
  • （1）(1.11) SiK Radio v2（一）
  • （4.10~4.16）
  • （草履虫都可以看懂的）PyQt子窗口向主窗口传递参数，主窗口接收子窗口信号、参数。
  • （动态规划）5. 最长回文子串 java解决
  • （二）JAVA使用POI操作excel
  • （论文阅读30/100）Convolutional Pose Machines
  • （七）微服务分布式云架构spring cloud - common-service 项目构建过程
  • (十三)Maven插件解析运行机制
  • （一）u-boot-nand.bin的下载
  • (转)setTimeout 和 setInterval 的区别
  • （转载）利用webkit抓取动态网页和链接