当前位置: 首页 > news >正文

HDFS黑名单退役服务器

黑名单:表示在黑名单的主机IP地址不可以,用来存储数据。

企业中:配置黑名单,用来退役服务器。

黑名单配置步骤如下:

 1)编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件

添加如下主机名称(要退役的节点)

hadoop105

注意:如果黑名单中没有配置,需要在hdfs-site.xml配置文件中增加dfs.hosts配置参数

<!-- 黑名单 -->

<property>

     <name>dfs.hosts.exclude</name>

     <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>

</property>

 2)分发配置文件blacklisthdfs-site.xml

xsync hdfs-site.xml blacklist

 3)第一次添加黑名单必须重启集群,不是第一次,只需要刷新NameNode节点即可

hdfs dfsadmin -refreshNodes

4)检查Web浏览器,退役节点的状态为decommission in progress(退役中),说明数据节点正在复制块到其他节点

 

 5)等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役

hdfs --daemon stop datanode

yarn --daemon stop nodemanager

6)如果数据不均衡,可以用命令实现集群的再平衡

sbin/start-balancer.sh -threshold 10

相关文章:

  • 蓝桥杯第五天刷题
  • Java9-17新特性
  • Python每日一练(20230309)
  • 【满分】【华为OD机试真题2023 JAVA】最多几个直角三角形
  • html实现浪漫的爱情日记(附源码)
  • Visual Studio Code 1.76 发布
  • 嵌入式软件开发之Linux 磁盘管理
  • Pytorch机器学习(八)—— YOLOV5中NMS非极大值抑制与DIOU-NMS等改进
  • 出道即封神的ChatGPT,现在怎么样了?
  • UDS 14229 -1 刷写34,36,37服务,标准加Trace讲解,没理由搞不明白
  • 朋友去华为面试,轻松拿到26K的Offer,羡慕了......
  • CPU平均负载高问题定位分析
  • 数据仓库相关概念的解释
  • 软测面试了一个00后,绝对能称为是内卷届的天花板
  • SpringBoot最常用的50个注解(全是干货,干的要死!)
  • 【399天】跃迁之路——程序员高效学习方法论探索系列(实验阶段156-2018.03.11)...
  • Consul Config 使用Git做版本控制的实现
  • es6(二):字符串的扩展
  • javascript面向对象之创建对象
  • PHP的Ev教程三(Periodic watcher)
  • spring cloud gateway 源码解析(4)跨域问题处理
  • vue 个人积累(使用工具,组件)
  • XML已死 ?
  • Zepto.js源码学习之二
  • 第三十一到第三十三天:我是精明的小卖家(一)
  • 动态规划入门(以爬楼梯为例)
  • 基于HAProxy的高性能缓存服务器nuster
  • 看完九篇字体系列的文章,你还觉得我是在说字体?
  • 力扣(LeetCode)357
  • 利用jquery编写加法运算验证码
  • 使用API自动生成工具优化前端工作流
  • 大数据全解:定义、价值及挑战
  • # Pytorch 中可以直接调用的Loss Functions总结:
  • # Swust 12th acm 邀请赛# [ A ] A+B problem [题解]
  • #多叉树深度遍历_结合深度学习的视频编码方法--帧内预测
  • (42)STM32——LCD显示屏实验笔记
  • (C#)一个最简单的链表类
  • (附源码)springboot工单管理系统 毕业设计 964158
  • (附源码)ssm高校实验室 毕业设计 800008
  • (附源码)ssm基于jsp的在线点餐系统 毕业设计 111016
  • (三)Honghu Cloud云架构一定时调度平台
  • (五)c52学习之旅-静态数码管
  • (一)【Jmeter】JDK及Jmeter的安装部署及简单配置
  • (原創) 系統分析和系統設計有什麼差別? (OO)
  • (转) 深度模型优化性能 调参
  • .mat 文件的加载与创建 矩阵变图像? ∈ Matlab 使用笔记
  • .net framwork4.6操作MySQL报错Character set ‘utf8mb3‘ is not supported 解决方法
  • .net 微服务 服务保护 自动重试 Polly
  • .NET 药厂业务系统 CPU爆高分析
  • .net实现头像缩放截取功能 -----转载自accp教程网
  • [ linux ] linux 命令英文全称及解释
  • [ Linux Audio 篇 ] 音频开发入门基础知识
  • []FET-430SIM508 研究日志 11.3.31
  • [Android]RecyclerView添加HeaderView出现宽度问题
  • [bzoj 3124][sdoi 2013 省选] 直径