当前位置: 首页 > news >正文

数据建设实践之大数平台(六)安装spark

安装spark

上传安装包到/opt/software目录并解压

[bigdata@node101 software]$ tar -xvf spark-3.3.1-bin-hadoop3.tgz -C /opt/services/ 
[bigdata@node101 software]$ tar -xvf spark-3.3.1-bin-without-hadoop.tgz -C /opt/services/ 

重命名文件

[bigdata@node101 services]$ mv spark-3.3.1-bin-hadoop3 spark-3.3.1 

配置环境变量

[bigdata@node101 ~]$ sudo vim /etc/profile.d/bigdata_env.sh 
export SPARK_HOME=/opt/services/spark-3.3.1
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SPARK_HOME/bin

分发环境变量

[bigdata@node101 ~]$ sudo ./bin/xsync /etc/profile.d/bigdata_env.sh 

刷新环境变量,

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 局域网远程共享桌面如何实现
  • [leetcode]partition-list 分隔链表
  • golang验证Etherscan上的智能合约
  • Docker-部署Sringboot项目保姆级教程(附项目源码)
  • RTOS系统 -- ARM Cortex-M4 RPMSG之通道初始化函数
  • k8s NetworkPolicy
  • [深度学习]卷积理解
  • 这几个开放式耳机值得买?六点选购建议你要注意了
  • 【机器学习】线性判别分析(LDA):从理论到实践
  • LangChain框架详解
  • 9月Sui Builder House新加坡站开启报名
  • 白骑士的C语言教学高级篇 3.4 C语言中的算法
  • 使用Java和WebSocket设计大型聊天系统的理论探讨
  • 【python】IPython的使用技巧
  • eclipse安装lombok
  • 【391天】每日项目总结系列128(2018.03.03)
  • docker python 配置
  • GDB 调试 Mysql 实战(三)优先队列排序算法中的行记录长度统计是怎么来的(上)...
  • Idea+maven+scala构建包并在spark on yarn 运行
  • JavaScript-Array类型
  • JAVA多线程机制解析-volatilesynchronized
  • PAT A1050
  • php的插入排序,通过双层for循环
  • Python打包系统简单入门
  • Shell编程
  • sublime配置文件
  • vue中实现单选
  • 短视频宝贝=慢?阿里巴巴工程师这样秒开短视频
  • 极限编程 (Extreme Programming) - 发布计划 (Release Planning)
  • 聚簇索引和非聚簇索引
  • 如何利用MongoDB打造TOP榜小程序
  • 使用 5W1H 写出高可读的 Git Commit Message
  • #1015 : KMP算法
  • #NOIP 2014# day.1 T3 飞扬的小鸟 bird
  • #pragma预处理命令
  • (1)SpringCloud 整合Python
  • (LeetCode 49)Anagrams
  • (php伪随机数生成)[GWCTF 2019]枯燥的抽奖
  • (SERIES12)DM性能优化
  • (二)springcloud实战之config配置中心
  • (二)延时任务篇——通过redis的key监听,实现延迟任务实战
  • (附源码)ssm学生管理系统 毕业设计 141543
  • (力扣记录)235. 二叉搜索树的最近公共祖先
  • (四)JPA - JQPL 实现增删改查
  • (一)搭建springboot+vue前后端分离项目--前端vue搭建
  • (原創) 系統分析和系統設計有什麼差別? (OO)
  • (转)shell中括号的特殊用法 linux if多条件判断
  • .bat批处理(五):遍历指定目录下资源文件并更新
  • .net core使用EPPlus设置Excel的页眉和页脚
  • .Net6使用WebSocket与前端进行通信
  • .NET分布式缓存Memcached从入门到实战
  • .Net接口调试与案例
  • .NET中的Event与Delegates,从Publisher到Subscriber的衔接!
  • ?.的用法
  • @Autowired和@Resource装配