龙蜥8.9系统hadoop3.3.6上spark3.5.2安装(伪分布)
继续接着上篇的环境安装。
1、去清华的镜像源下载相关文件 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.2/
2、解压缩
tar zxvf spark-3.5.2-bin-hadoop3.tgz
3、移动到适当位置
mv spark-3.5.2-bin-hadoop3 /app/spark-3
4、下载scala
https://www.scala-lang.org/download/all.html
这个版本的spark用的是scala-2.12.18
https://www.scala-lang.org/download/2.12.18.html
linux下
https://downloads.lightbend.com/scala/2.12.18/scala-2.12.18.tgz
tar zxvf scala-2.12.18.tgz
mv scala-2.12.18 /app/scala-2
4、配置环境变量
nano /etc/profile
下面是完整的java、hadoop、scala、spark的配置环境
export JAVA_HOME=/app/openjdk-8
export HADOOP_HOME=/app/hadoop-3
export SCALA_HOME=/app/scala-2
export SPARK_HOME=/app/spark-3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin
环境变量生效
source /etc/profile
验证：
scala -version
spark-shell
5、进到/app/spark-3/conf中，复制一个文件出来
cp spark-env.sh.template spark-env.sh
export SCALA_HOME=/app/scala-3
export JAVA_HOME=/app/openjdk-8
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/app/hadoop-3/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070
6、查看spark版本
spark-submit --version
7、启动spark
cd /app/spark-3
sbin/start-all.sh
8、jps 查看是否安装成功，比如我的是这样，Worker、Master启动完，记忆证明spark和scala安装启动成功了：
19136 JobHistoryServer
18533 ResourceManager
18039 DataNode
18727 NodeManager
20584 Worker
18233 SecondaryNameNode
20681 Jps
17900 NameNode
20479 Master