spark 整合 yarn
spark 整合 yarn
1、在master节点上停止spark集群
cd /usr/local/soft/spark-2.4.5/sbin
./stop-all.sh
2、spark整合yarn只需要在一个节点整合, 可以删除node1 和node2中所有的spark文件
分别在node1、node2 的/usr/local/soft目录运行
rm -rf spark-2.4.5/
3、 进入 /spark-2.4.5/conf目录，增加 hadoop 配置文件地址
cp /usr/local/soft/spark-2.4.5/conf
vim spark-env.sh
直接在文件最后加上
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop
4、 进入/usr/local/soft/hadoop-2.7.6/etc/hadoop目录，修改yarn-site.xml文件（往yarn提交任务需要增加两个配置）
先关闭yarn
stop-all.sh
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop
vim yarn-site.xml
在<configuration> </configuration>之间加上 :
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
5、同步到其他节点
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop
scp -r yarn-site.xml node1:`pwd`
scp -r yarn-site.xml node2:`pwd`
再启动yarn
start-all.sh
master:50070 -- 检查HDFS
master:8088 -- 检查Yarn
6、测试
spark有两种模式 :
(1) standalone client模式 日志在本地输出，一般用于上线前测试(bin/下执行)
cd /usr/local/soft/spark-2.4.5/examples/jars
提交spark任务
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client spark-examples_2.11-2.4.5.jar 100
(2) standalone cluster模式 上线使用，不会再本地打印日志 减少io
cd /usr/local/soft/spark-2.4.5/examples/jars
提交spark任务
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster spark-examples_2.11-2.4.5.jar 100
获取yarn程序 cluster模式 下的执行日志 ， 执行成功之后才能获取到
yarn logs -applicationId application_1560967444524_0003
