数据建设实践之大数平台(六)安装spark
安装spark
上传安装包到/opt/software目录并解压
[bigdata@node101 software]$ tar -xvf spark-3.3.1-bin-hadoop3.tgz -C /opt/services/
[bigdata@node101 software]$ tar -xvf spark-3.3.1-bin-without-hadoop.tgz -C /opt/services/
重命名文件
[bigdata@node101 services]$ mv spark-3.3.1-bin-hadoop3 spark-3.3.1
配置环境变量
[bigdata@node101 ~]$ sudo vim /etc/profile.d/bigdata_env.sh
export SPARK_HOME=/opt/services/spark-3.3.1
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SPARK_HOME/bin
分发环境变量
[bigdata@node101 ~]$ sudo ./bin/xsync /etc/profile.d/bigdata_env.sh
刷新环境变量,