当前位置: 首页 > news >正文

window环境下安装大数据环境

目录

背景:

适用人群:

环境配置:

1.java安装-jdk

环境变量配置

2.scala 安装

环境变量配置

测试

 3. hadoop安装

环境变量配置

 4. spark安装

环境变量配置

测试

idea集成

修改一:改成可识别的资源

 修改二:下载scala的插件

 修改三:添加scala的sdk

四:添加maven

 五:添加git关联(这步看个人情况)


背景:

最近系统经常被公司it格式化重装系统(因为公司的一些战略规划的原因),每次都要把java、spark、scala、Hadoop,那一堆东西弄一边,感觉很麻烦,写出来,以后照抄,十分钟搞定所有开发环境。

适用人群:

大数据以及java开发人员中的新手小白、经常更新环境的兄弟

话不多说,开始安装:

环境配置:

1.java安装-jdk

spark依赖java,首先电脑中必须安装java。

具体可以看博主的这篇文章:

Java新人入职——配置环境及安装开发工具_Alex_81D的博客-CSDN博客

这里简单写一下参考即可

环境变量配置

依次点击我的电脑 ->属性->高级系统设置->环境变量,在系统变量选项卡中,新建一个系统变量,如下,变量名为JAVA_HOME,变量值为本地安装java的路径。

 添加好JAVA_HOME后,需要为Path变量增加值,选择Path变量(同样在系统变量中),点击编辑,弹出如下弹窗,新建两个值,分别为%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin。

 测试

环境变量配置好后,测试java是否安装成功,win+R打开运行对话框,输入cmd命令进入命令行窗口,输入java、javac、java -version查看java版本,有输出则说明java安装成功。

2.scala 安装

spark是由scala语言编写的,需要安装scala。

根据系统下载对应的版本,进行安装,安装位置可自行选择。

环境变量配置

同样,在系统变量的Path中,增加一个值,为scala的安装路径。

测试

打开命令行窗口,输入scala,出现如下界面表示安装成功。

 

 3. hadoop安装

环境变量配置

新增HADOOP_HOME系统变量,值为本地hadoop安装路径

 增加Path系统变量的值,为%HADOOP_HOME%\bin

备注:

这块需要注意的是,有时候Hadoop确实一些包,需要手动下载 winutils.exe

 下载对应版本的 winutils:https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.7/bin/winutils.exe,把下载到的bin文件夹覆盖到Hadoop安装目录的bin文件夹,确保其中含有winutils.exe文件

 4. spark安装

「需要注意的是spark版本需要和hadoop版本对应」

环境变量配置

新增SPARK_HOME系统变量,值为本地spark安装路径。

 增加Path系统变量的值,为%SPARK_HOME%\bin

测试

在命令行窗口,输入spark-shell,出现如下界面,表示spark安装成功。

 目录:

 spark window单机版安装成功!单机版可以用来学习spark的基础使用,python用户可以用pyspark模块使用spark,R用于可以用SparkR包使用spark。

===================================================================

idea集成

修改一:改成可识别的资源

 修改二:下载scala的插件

 修改三:添加scala的sdk

四:添加maven

 五:添加git关联(这步看个人情况)

这次先到这里,后面再说!

相关文章:

  • 解决navicat premium连接数据库自动断开问题
  • 学历提升中的我,入职产品经理之路
  • 网络安全专家,这5本入门秘籍人手一套
  • 智源AI日报(2022-08-30): 华为谢凌曦:关于视觉识别领域发展的个人观点
  • 示波器十大基础知识你都了解多少
  • 【经典算法学习-排序篇】冒泡排序
  • Nacos系列【26】源码分析篇之客户端自动注册
  • DBeaver常用快捷键(含复制当前行)
  • Java ThreadPoolExecutor的拒绝策略
  • 操作系统——磁盘操作
  • DSPE-PEG-FSHB,FSHB-PEG-DSPE,磷脂-聚乙二醇-靶向多肽FSHB
  • JAVA 力扣练习题:回文数
  • 【Git】credential.helper
  • PDF格式分析(六十九)——注释字典
  • mysql45讲记录
  • 11111111
  • Asm.js的简单介绍
  • Docker容器管理
  • express + mock 让前后台并行开发
  • HomeBrew常规使用教程
  • Leetcode 27 Remove Element
  • Linux学习笔记6-使用fdisk进行磁盘管理
  • macOS 中 shell 创建文件夹及文件并 VS Code 打开
  • MySQL-事务管理(基础)
  • React+TypeScript入门
  • Ruby 2.x 源代码分析:扩展 概述
  • 爱情 北京女病人
  • 仿天猫超市收藏抛物线动画工具库
  • 基于Javascript, Springboot的管理系统报表查询页面代码设计
  • 前端代码风格自动化系列(二)之Commitlint
  • 通过获取异步加载JS文件进度实现一个canvas环形loading图
  • 网络应用优化——时延与带宽
  • 一起来学SpringBoot | 第三篇:SpringBoot日志配置
  • 原生JS动态加载JS、CSS文件及代码脚本
  • ​Linux·i2c驱动架构​
  • ​queue --- 一个同步的队列类​
  • #{}和${}的区别是什么 -- java面试
  • #if 1...#endif
  • (超简单)构建高可用网络应用:使用Nginx进行负载均衡与健康检查
  • (附源码)基于SSM多源异构数据关联技术构建智能校园-计算机毕设 64366
  • (六) ES6 新特性 —— 迭代器(iterator)
  • (原创)boost.property_tree解析xml的帮助类以及中文解析问题的解决
  • .equals()到底是什么意思?
  • @Transactional 详解
  • @value 静态变量_Python彻底搞懂:变量、对象、赋值、引用、拷贝
  • [20180224]expdp query 写法问题.txt
  • [383] 赎金信 js
  • [AutoSAR 存储] 汽车智能座舱的存储需求
  • [BUG] Hadoop-3.3.4集群yarn管理页面子队列不显示任务
  • [C# WPF] 如何给控件添加边框(Border)?
  • [C++]打开新世界的大门之C++入门
  • [CVPR 2023:3D Gaussian Splatting:实时的神经场渲染]
  • [go] 迭代器模式
  • [HJ56 完全数计算]
  • [iOS]-UIKit