当前位置: 首页 > news >正文

Hadoop:Task process exit with nonzero status of 1 异常

  在运行hadoop程序时经常遇到异常 java.io.IOException: Task process exit with nonzero status of 1。网上很多博文都说是磁盘不够的问题。

  其实我很多时候遇到这个问题是因为程序抛出org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError:   unable to create new native thread这个问题导致程序失败并删除掉工作区间,最终导致文件无法读写。因此,通常抛出这个问题也有可能是因为内存溢出。

解决方法:

1. 增大hadoop-env.sh 中HADOOP_HEAPSIZE的值

2 .增大 mapred-site.xml 中mapred.child.java.opts的值(默认为200M)

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx2048m</value>
</property>

 3. 减小 mapred-site.xml中mapred.tasktracker.map.tasks.maximumde和mapred.tasktracker.reduce.tasks.maximum的值

<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>15</value>
</property>

 

转载于:https://www.cnblogs.com/forzhongyou/p/3930053.html

相关文章:

  • HTML的认识
  • 【HDOJ】4983 Goffi and GCD
  • StarkSoft题库管理系统(二)--生成word格式试卷
  • PXE结合kiskstart实现自动化安装系统
  • dm6446开发大全资料号称宇宙最全
  • java空指针注意事项
  • linux下个人权限的Apache服务器的php的yii搭建
  • atitit. 日志系统的原则and设计and最佳实践(1)-----原理理论总结.
  • C语言中迭代器的设计与使用
  • 利用ACL库快速创建你的网络程序--ACL_VSTREAM 流的使用
  • 架构反思案例之“分布式”的架构案例
  • HttpClient---------demo
  • SQLSERVER存储过程基本语法
  • 安装redis
  • C#实现一个最简单的HTTP服务器
  • docker容器内的网络抓包
  • express.js的介绍及使用
  • JavaScript 一些 DOM 的知识点
  • Linux Process Manage
  • nodejs实现webservice问题总结
  • NSTimer学习笔记
  • oschina
  • PAT A1050
  • quasar-framework cnodejs社区
  • Tornado学习笔记(1)
  • vue自定义指令实现v-tap插件
  • 关于 Linux 进程的 UID、EUID、GID 和 EGID
  • 使用权重正则化较少模型过拟合
  • 世界编程语言排行榜2008年06月(ActionScript 挺进20强)
  • 手写一个CommonJS打包工具(一)
  • 我建了一个叫Hello World的项目
  • 我这样减少了26.5M Java内存!
  • 用Python写一份独特的元宵节祝福
  • 整理一些计算机基础知识!
  • #etcd#安装时出错
  • #大学#套接字
  • #在 README.md 中生成项目目录结构
  • (12)目标检测_SSD基于pytorch搭建代码
  • (2/2) 为了理解 UWP 的启动流程,我从零开始创建了一个 UWP 程序
  • (5)STL算法之复制
  • (附源码)spring boot校园拼车微信小程序 毕业设计 091617
  • (附源码)ssm基于jsp高校选课系统 毕业设计 291627
  • (四) Graphivz 颜色选择
  • (已解决)vue+element-ui实现个人中心,仿照原神
  • (转)编辑寄语:因为爱心,所以美丽
  • ***php进行支付宝开发中return_url和notify_url的区别分析
  • . Flume面试题
  • .bat批处理(三):变量声明、设置、拼接、截取
  • .NET CORE 3.1 集成JWT鉴权和授权2
  • .netcore 获取appsettings
  • .Net下使用 Geb.Video.FFMPEG 操作视频文件
  • .vue文件怎么使用_vue调试工具vue-devtools的安装
  • :中兴通讯为何成功
  • @cacheable 是否缓存成功_Spring Cache缓存注解
  • @Mapper作用