当前位置: 首页 > news >正文

hadoop安全模式无法关闭问题

问题描述:今天在hadoop上传递数据时,由于数据文件太大,运行到一半突然复制中断,导致出现了安全模式,报“name node is in safe mode ”的错误提示。安全模式导致的结果就是无法上传数据到hdfs以及删除hdfs的数据,简单来说,数据都变为了只读模式,只能看,不能操作,挺麻烦的一件事情。

简单介绍一下安全模式:

1.安全模式时hadoop集群的一个安全保障方式。

2.hadoop的NameNode在重启时会进入安全模式。

3.磁盘爆掉也会进入安全模式【亲试】。

问题解决:

1.第一种方法:

(1)hdfs dfsadmin -safemode get:查看当前的安全模式状态

显示:Safe mode is ON

(2)hdfs dfsadmin -safemode leave:强制当前的安全模式

(3)再次检查:hdfs dfsadmin -safemode get

如果显示:Safe mode is OFF,则成功。【我的还是ON,所以继续寻找原因

2.第二种方法:

经过长时间的寻找,终于发现这种情况对应的原因:linux下输入df -h查看系统的磁盘信息情况:

发现:磁盘被占用100%【图示为已经清除部分内容】,所以,问题就出现在这个地方,经查发现,因为系统有文件被删除,但是进程还存活着,所以导致了空间被占用的现象,所以只需要杀死这些进程即可。

(1)使用lsof |grep delete查看对应的进程号;

(2)另外输入top,查看后台所有进程,然后找到无用进程,杀死这部分进程。

(3)使用 kill -9 进程号,杀掉对应进程即可。

(3)再次重启hadoop集群,会发现安全模式已经解除。

输入:hdfs dfsadmin -safemode get->>查看当前的安全模式状态

结果测试:

可以删除hdfs上的数据,空间得到进一步释放。

根本原因:

linux下的磁盘太小,而传输的文件太大,导致磁盘爆掉,所以hadoop集群进入了安全模式。此处仅尝试了关掉无用进程,然后删除hdfs上的部分数据,所以磁盘空间得到释放,因此解除了安全模式。猜想,如果扩充了磁盘,使之能够承载所传输的文件大小,也应该可以保证hadoop解除安全模式。

 

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 迷茫也得行动了
  • 3.爬虫基础——网络请求
  • 使用Rman的Plus archvielog选项简化数据库备份操作
  • 4.爬虫基础——你真的了解url(网址)吗?
  • 1.爬虫数据提取——方法总结
  • 如何从结果集中获得随机结果
  • 2.爬虫数据提取——Xpath环境配置
  • Oracle9i新特性:iSQLPLUS
  • 3.爬虫数据提取——Xpath语法
  • 4.爬虫数据提取——lxml库的环境配置
  • 征服---深绿大师
  • Why doesn't Windows 2000 retain my pagefile settings?
  • Anaconda的虚拟环境
  • CSDN Windows专区9X版版主测试题目
  • 6.爬虫数据提取——正则表达式
  • 【跃迁之路】【699天】程序员高效学习方法论探索系列(实验阶段456-2019.1.19)...
  • Android Studio:GIT提交项目到远程仓库
  • java B2B2C 源码多租户电子商城系统-Kafka基本使用介绍
  • Logstash 参考指南(目录)
  • Making An Indicator With Pure CSS
  • Nginx 通过 Lua + Redis 实现动态封禁 IP
  • SpingCloudBus整合RabbitMQ
  • v-if和v-for连用出现的问题
  • 关于for循环的简单归纳
  • 后端_MYSQL
  • 普通函数和构造函数的区别
  • 探索 JS 中的模块化
  • 异常机制详解
  • nb
  • ​3ds Max插件CG MAGIC图形板块为您提升线条效率!
  • #pragma预处理命令
  • (10)STL算法之搜索(二) 二分查找
  • (7) cmake 编译C++程序(二)
  • (办公)springboot配置aop处理请求.
  • (二)fiber的基本认识
  • (含react-draggable库以及相关BUG如何解决)固定在左上方某盒子内(如按钮)添加可拖动功能,使用react hook语法实现
  • (九十四)函数和二维数组
  • (三分钟)速览传统边缘检测算子
  • (转)LINQ之路
  • (转载)VS2010/MFC编程入门之三十四(菜单:VS2010菜单资源详解)
  • (最新)华为 2024 届秋招-硬件技术工程师-单板硬件开发—机试题—(共12套)(每套四十题)
  • (最优化理论与方法)第二章最优化所需基础知识-第三节:重要凸集举例
  • .bat批处理(五):遍历指定目录下资源文件并更新
  • .NET 2.0中新增的一些TryGet,TryParse等方法
  • .NET Core WebAPI中使用swagger版本控制,添加注释
  • .NET 命令行参数包含应用程序路径吗?
  • .NET 设计模式初探
  • .net(C#)中String.Format如何使用
  • .net反混淆脱壳工具de4dot的使用
  • .NET建议使用的大小写命名原则
  • .net解析传过来的xml_DOM4J解析XML文件
  • @vueup/vue-quill使用quill-better-table报moduleClass is not a constructor
  • [ CTF ] WriteUp- 2022年第三届“网鼎杯”网络安全大赛(白虎组)
  • [ linux ] linux 命令英文全称及解释
  • []error LNK2001: unresolved external symbol _m