Hue在大数据生态圈的集成
1. 写在前面
工欲善其事，必先利其器，网上教程往往让你安装一半丈二和尚摸不着头脑
其他方法安装遇到错误亦可能可在本文的思路中找到答案
本文安装环境CentOS 7
安装目录 /export/server
软件包存放位置 /export/software
已安装好Hadoop3.3.2、Hive3.1.2、Kafka2.12-3.2.1等，可查看专栏其他文章
2. hue可视化
hue在大数据生态圈的可视化功能的方便性，不用多言，下面开始集成各大组件
未安装hue的小伙伴可以查看教小白白Hue安装部署_不图安逸的小码农的博客-CSDN博客
3. HDFS集成
3.1 HDFS方面
1）node1上core-site.xml修改
#core-site.xml路径
cd /export/server/hadoop-3.3.2/etc/hadoop/
#这是系统编辑器，我更习惯notepad++编辑
vim core-site.xml
notepad++如何连接编辑参考此文内容教小白30分钟实现分库分表_不图安逸的小码农的博客-CSDN博客
增加以下内容
<!--允许通过httpfs方式访问hdfs的主机名 HUE-->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!--允许通过httpfs方式访问hdfs的用户组 HUE-->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>#将node1配置好的core-site.xml复制给node2\node3
scp -r core-site.xml node2:/export/server/hadoop-3.3.2/etc/hadoop/
scp -r core-site.xml node3:/export/server/hadoop-3.3.2/etc/hadoop/2）node1上hdfs-site.xml修改
#hdfs-site.xml路径
cd /export/server/hadoop-3.3.2/etc/hadoop/
#这是系统编辑器，我更习惯notepad++编辑
vim hdsf-site.xml增加以下内容
<!-- HUE 外部访问-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property> #将node1配置好的hdfs-site.xml复制给node2\node3
scp -r hdfs-site.xml node2:/export/server/hadoop-3.3.2/etc/hadoop/
scp -r hdfs-site.xml node3:/export/server/hadoop-3.3.2/etc/hadoop/3.2 HUE方面
修改hue.ini
#hue.ini修改路径
cd /export/server/hue-3.9.0-cdh5.14.0/desktop/conf/
#推荐notepad++，原生vi亦可
vim hue.ini搜索hdfs_clusters
修改成为以下内容
[hadoop]
# Configuration for HDFS NameNode
# ------------------------------------------------------------------------
[[hdfs_clusters]]
# HA support by using HttpFs
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://node1:9000
webhdfs_url=http://node1:9870/webhdfs/v1
# Directory of the Hadoop configuration
# hadoop_conf_dir=$HADOOP_CONF_DIR when set or '/etc/hadoop/conf'
hadoop_hdfs_home= /export/server/hadoop-3.3.2
hadoop_bin=/export/server/hadoop-3.3.2/bin
hadoop_conf_dir=/export/server/hadoop-3.3.2/etc/hadoop
# Configuration for YARN (MR2)
# ------------------------------------------------------------------------
重要提示：注意两个端口号9000和9870
关于9000：在前面Hadoop安装中core-site.xml中，之前设置为8020，现改为9000，即一致即可
关于9870：hdfs 2.x 默认50070。hdfs 3.X 默认9870，查看网站是用哪个端口号，即写哪个
HDFS集成完毕
3.3 重启HDFS、HUE
#启动hdfs
start-dfs.sh
#启动HUE
cd /export/server/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
4. YARN集成
4.1 YARN方面
#yarn-site.xml路径
cd /export/server/hadoop-3.3.2/etc/hadoop/
#这是系统编辑器，我更习惯notepad++编辑
vim yarn-site.xml
增加以下内容（根据本人专栏下Hadoop文章安装的话，此处已经配置，查看一下即可）
<property> ##是否启用日志聚集功能。
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property> ##设置日志保留时间，单位是秒。
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
#将node1配置好的yarn-site.xml复制给node2\node3（之前Hadoop安装已有可不做）
scp -r yarn-site.xml node2:/export/server/hadoop-3.3.2/etc/hadoop/
scp -r yarn-site.xml node3:/export/server/hadoop-3.3.2/etc/hadoop/4.2 HUE方面
修改hue.ini
#hue.ini修改路径
cd /export/server/hue-3.9.0-cdh5.14.0/desktop/conf/
#推荐notepad++，原生vi亦可
vim hue.ini搜索yarn_clusters
修改成为以下内容
[[yarn_clusters]]
[[[default]]]
# Enter the host on which you are running the ResourceManager
resourcemanager_host=node1
# The port where the ResourceManager IPC listens on
resourcemanager_port=8032
# Whether to submit jobs to this cluster
submit_to=True
# URL of the ResourceManager API
resourcemanager_api_url=http://node1:8088
# URL of the HistoryServer API
history_server_api_url=http://node1:19888
4.3 重启yarn 、hue
start-yarn.sh
build/env/bin/supervisor