【九】Hadoop3.3.4HA高可用配置

1.高可用基本原理

1.NameNode 高可用性

在 Hadoop 生态系统中，NameNode 是文件系统的中心管理器，负责管理 HDFS 的元数据。为了避免单点故障（Single Point of Failure，SPOF），Hadoop 引入了 NameNode 的高可用性架构。主要组件包括：

主备 NameNode

• Active NameNode：当前负责处理客户端请求并管理 HDFS 元数据。
• Standby NameNode：处于热备状态，与 Active NameNode 保持同步，但不处理客户端请求。当 Active NameNode 故障时，Standby NameNode 会接管。

JournalNode

• 作用：JournalNode 充当共享存储的角色，记录 NameNode 的编辑日志（edits log）。
• 机制：当 Active NameNode 接收到客户端请求时，它会将操作记录到 JournalNode 集群中。Standby NameNode 也会从 JournalNode 中读取这些编辑日志，以保持元数据的同步。

2.Zookeeper 协调

Zookeeper 在 Hadoop HA 架构中用于管理 NameNode 的选主（leader election）和状态协调。它帮助确定当前哪个 NameNode 是 Active 的，并在故障发生时进行切换。

3.Quorum Journal Manager (QJM)

QJM 是管理 JournalNode 的组件，确保在集群中至少一半以上的 JournalNode 写入成功后，操作才被认为是持久化成功的。

4.Failover 控制器

Hadoop HA 中的 Failover 控制器（比如 ZKFailoverController）用于自动化主备 NameNode 的切换。它监控 Active NameNode 的健康状态，当检测到故障时，会自动切换到 Standby NameNode。

5.元数据共享

• 共享编辑日志：通过 JournalNode，所有 NameNode 共享同一个编辑日志，以保持一致性。
• 共享的状态（Namespace）：Active 和 Standby NameNode 共享相同的命名空间，Standby NameNode 通过读取 JournalNode 的日志来不断更新其命名空间，以保持与 Active NameNode 的一致性。

6.检查点机制

Standby NameNode 会定期从 JournalNode 读取编辑日志，并将它们应用到自己的内存中。与此同时，它还会创建新的检查点（checkpoint），以减少系统重启时的恢复时间。

7.切换过程

• 故障检测：如果 Active NameNode 出现故障，Zookeeper 和 Failover 控制器会检测到并启动切换过程。
• 切换到 Standby NameNode：Standby NameNode 被激活并接管所有客户端请求。
• 恢复过程：故障的 Active NameNode 恢复后，会被设置为新的 Standby NameNode，等待下次切换。

这种 HA 架构确保了即使一个 NameNode 发生故障，另一个 NameNode 也能迅速接管，保证 HDFS 的高可用性和数据可靠性。

2.Hadoop高可用配置

1.环境背景

当前高可用在以下三台节点组成的hadoop3.3.4集群中进行配置，当前已经完成了集群安装，hdfs的验证，并且zookeeper组件已经安装完成。

2.hdfs-site.xml

这是我当前配置 Hadoop HA（高可用）集群的hdfs-site.xml配置文件。

<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.secondary.http-address</name><value>ubuntu2:9868</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/dfs/data</value></property><property><name>dfs.namenode.rpc-address</name><value>ubuntu1:8020</value></property><property><name>dfs.namenode.rpc-address</name><value>ubuntu2:8020</value></property><!-- 高可用配置开始 --><property><name>dfs.nameservices</name><value>mycluster</value></property><property><name>dfs.ha.namenodes.mycluster</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.mycluster.nn1</name><value>ubuntu1:8020</value></property><property><name>dfs.namenode.rpc-address.mycluster.nn2</name><value>ubuntu2:8020</value></property><property><name>dfs.namenode.http-address.mycluster.nn1</name><value>ubuntu1:50070</value></property><property><name>dfs.namenode.http-address.mycluster.nn2</name><value>ubuntu2:50070</value></property><property><name>dfs.journalnode.edits.dir</name><value>/usr/local/hadoop/data/journalnode</value></property><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://ubuntu1:8485;ubuntu2:8485;ubuntu3:8485/mycluster</value></property><property><name>dfs.client.failover.proxy.provider.mycluster</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property><!-- 高可用配置结束 --></configuration>

基本配置

• dfs.replication：设置 HDFS 中文件的默认副本数。这里设置为 2，意味着每个文件会存储两个副本。
• dfs.namenode.secondary.http-address：配置 Secondary NameNode 的 HTTP 地址（在 HA 配置中通常不需要）。
• dfs.namenode.name.dir：NameNode 存储元数据的本地路径。
• dfs.datanode.data.dir：DataNode 存储数据块的本地路径。
• dfs.namenode.rpc-address：NameNode 的 RPC 地址。在 HA 配置中应通过服务名和节点标识来定义。

高可用配置

• dfs.nameservices：定义 HDFS 集群的逻辑名称，这里为 mycluster。
• dfs.ha.namenodes.mycluster：定义 mycluster 集群中包含的 NameNode，这里为 nn1 和 nn2。
• dfs.namenode.rpc-address.mycluster.nn1：nn1 的 RPC 地址，提供 HDFS 服务。
• dfs.namenode.rpc-address.mycluster.nn2：nn2 的 RPC 地址。
• dfs.namenode.http-address.mycluster.nn1：nn1 的 HTTP Web 界面地址。
• dfs.namenode.http-address.mycluster.nn2：nn2 的 HTTP Web 界面地址。
• dfs.journalnode.edits.dir：JournalNode 存储编辑日志的本地路径。
• dfs.namenode.shared.edits.dir：共享编辑日志的路径，这里使用的是 QJM（Quorum Journal Manager）方式，路径格式为 qjournal://{host1:port};{host2:port};{host3:port}/clustername。
• dfs.client.failover.proxy.provider.mycluster：设置客户端的 failover 代理提供者类，这里使用 ConfiguredFailoverProxyProvider，用于在 NameNode 之间自动切换。
• dfs.ha.fencing.methods：配置切断失效的 Active NameNode 的方法。这里使用 sshfence，即通过 SSH 命令来隔离失效的 NameNode。
• dfs.ha.fencing.ssh.private-key-files：指定用于 SSH 连接的私钥文件路径。
• dfs.ha.automatic-failover.enabled：启用自动故障转移。

3.core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://mycluster</value></property><!--2.指定hadoop 数据的存储目录默认为/tmp/hadoop-${user.name} --><property><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp</value></property><!--hive.hosts 允许 root 代理用户访问 Hadoop 文件系统设置 --><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><!--hive.groups 允许 Hive 代理用户访问 Hadoop 文件系统设置 --><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>
<!-- 配置 HDFS 网页登录使用的静态用户为 root --><property><name>hadoop.http.staticuser.user</name><value>root</value></property>
<!--配置缓存区的大小，实际可根据服务器的性能动态做调整--><property><name>io.file.buffer.size</name><value>4096</value></property>
<!--开启hdfs垃圾回收机制，可以将删除数据从其中回收，单位为分钟--><property><name>fs.trash.interval</name><value>10080</value></property><!--zookeeper--><property><name>ha.zookeeper.quorum</name><value>ubuntu1:2181,ubuntu2:2181,ubuntu3:2181</value></property></configuration>

core-site.xml 基于高可用的配置，主要用于配置 Hadoop 的核心设置，这里重点是zookeeper的配置项要加上。以下是每个配置项的解释：

基本配置

• fs.defaultFS：
  • 设定 HDFS 的默认文件系统。这里指定为 hdfs://mycluster，表示使用高可用集群 mycluster 的 HDFS 作为默认文件系统。
• hadoop.tmp.dir：
  • 指定 Hadoop 临时数据的存储目录。默认情况下，这些数据会存储在 /tmp/hadoop-${user.name} 目录中，这里指定为 /home/hadoop/tmp。

代理用户配置

• hadoop.proxyuser.root.hosts：
  • 允许 root 用户代理其他用户访问 Hadoop 文件系统的主机。* 表示允许所有主机。
• hadoop.proxyuser.root.groups：
  • 允许 root 用户代理其他用户访问 Hadoop 文件系统的用户组。* 表示允许所有用户组。

HTTP 静态用户配置

• hadoop.http.staticuser.user：
  • 配置 HDFS 网页界面的静态用户为 root。这意味着访问 HDFS Web UI 时将默认使用 root 用户身份。

I/O 配置

• io.file.buffer.size：
  • 配置文件系统 I/O 操作的缓存区大小。这里设置为 4096 字节，可根据服务器性能进行调整。

垃圾回收配置

• fs.trash.interval：
  • 开启 HDFS 垃圾回收机制的时间间隔，单位为分钟。这里设置为 10080 分钟（即 7 天）。在该时间段内删除的数据可以从回收站中恢复。

ZooKeeper 配置

• ha.zookeeper.quorum：
  • 指定用于 Hadoop HA 配置的 ZooKeeper 集群的主机和端口。这里指定的三个 ZooKeeper 实例分别运行在 ubuntu1、ubuntu2 和 ubuntu3 上，端口号为 2181。

3.分发配置文件

修改完hdfs-site.xml和core-site.xml一定要向集群中所有节点分发。

4.启动集群

由于更改了配置文件，所以要关闭集群再重启才能使高可用生效。

1.关闭集群

将hadoop集群所有组件停止服务。

stop-all.sh

2.zookeeper的启动

要保证zookeeper进程在后台运行，QuorumPeerMain需要在三台节点都运行。
在三台节点执行：

zkServer.sh start

查看zookeeper状态：

zkServer.sh status

成功显示leader和follower

3.启动HDFS服务

• 启动journalnode

在三台节点上都要启动：

hdfs --daemon start journalnode

如果因为启动失败而重新配置，需要将目录中的数据删除，再次启动：

rm -rf /usr/local/hadoop/data/journalnode/mycluster/*

• HDFS NameNode的格式化，如果是第一次配置启动hadoop则需要格式化

hdfs namenode -format

• 在ubuntu1共享日志文件初初始化

hdfs namenode -initializeSharedEdits

• 启动hdfs

start-dfs.sh
# 或者使用群起命令
start-all.sh

如果启动时没有datanode进程，则应删除hdfs数据文件，避免clusterID冲突：

rm -rf /home/hadoop/dfs/data/*

• 在ubuntu2同步镜像数据

hdfs namenode -bootstrapStandby

• zookeeper FailerController格式化

在主节点ubuntu1执行：

hdfs zkfc -formatZK

• 全部组建启动成功：

有多个ZooKeeperMain是因为我开启了一个zookeeper客户端连接，所以会有多个进程在后台。

5.测试高可用

1.检查节点状态

通过以下命令可以看到，ubuntu1为standby，ubuntu2为active。

root@ubuntu1:/home/guoyachao# hdfs haadmin -getServiceState nn1
2024-07-28 17:13:09,214 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
standby
root@ubuntu1:/home/guoyachao# hdfs haadmin -getServiceState nn2
2024-07-28 17:13:11,292 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
active

2.kill掉active节点

注意查看jps进程，我将ubuntu2的namenode进程kill掉，造成节点故障的现象。

root@ubuntu2:/usr/local/hadoop/etc/hadoop# jps
89712 NameNode
63362 ZooKeeperMain
89799 DataNode
90152 Jps
88796 NodeManager
89900 JournalNode
90015 DFSZKFailoverController
66399 QuorumPeerMain
root@ubuntu2:/usr/local/hadoop/etc/hadoop# jps|grep NameNode|awk '{print $1}'|xargs kill -9
root@ubuntu2:/usr/local/hadoop/etc/hadoop# jps
63362 ZooKeeperMain
90180 Jps
89799 DataNode
88796 NodeManager
89900 JournalNode
90015 DFSZKFailoverController
66399 QuorumPeerMain

此时查看节点状态，无法连接到Ubuntu2的namenode

root@ubuntu2:/usr/local/hadoop/etc/hadoop# hdfs haadmin -getServiceState nn1
2024-07-28 17:16:20,249 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
standby
root@ubuntu2:/usr/local/hadoop/etc/hadoop# hdfs haadmin -getServiceState nn2
2024-07-28 17:16:25,256 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2024-07-28 17:16:26,292 INFO ipc.Client: Retrying connect to server: ubuntu2/172.16.167.132:8020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=1, sleepTime=1000 MILLISECONDS)
Operation failed: Call From ubuntu2/172.16.167.132 to ubuntu2:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

再次启动ubuntu2的namenode，并查看高可用状态，此时ubuntu1已经完成了状态切换。回显表示ubuntu2已经切换为了standby。

root@ubuntu2:/usr/local/hadoop/etc/hadoop# hdfs --daemon start namenode
root@ubuntu2:/usr/local/hadoop/etc/hadoop# hdfs haadmin -getServiceState nn2
2024-07-28 17:19:14,086 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
standby

也可以在web界面查看，ubuntu1自动完成了active的切换：

参考资料

1. 【尚硅谷HA教程(大数据ha快速入门)】 https://www.bilibili.com/video/BV1zb411P7KY/?share_source=copy_web&vd_source=bde27502bfa0838cc98c5cf2835884aa
2. 【CSDN HDFS高可用】：http://t.csdnimg.cn/9TkdQ
3. 【Hadoop官方文档】https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
4. 【Hadoop 3.3.4 HA（高可用）原理与实现(QJM)】https://www.cnblogs.com/liugp/p/16607424.html