window环境下安装大数据环境
目录
背景:
适用人群:
环境配置:
1.java安装-jdk
环境变量配置
2.scala 安装
环境变量配置
测试
3. hadoop安装
环境变量配置
4. spark安装
环境变量配置
测试
idea集成
修改一:改成可识别的资源
修改二:下载scala的插件
修改三:添加scala的sdk
四:添加maven
五:添加git关联(这步看个人情况)
背景:
最近系统经常被公司it格式化重装系统(因为公司的一些战略规划的原因),每次都要把java、spark、scala、Hadoop,那一堆东西弄一边,感觉很麻烦,写出来,以后照抄,十分钟搞定所有开发环境。
适用人群:
大数据以及java开发人员中的新手小白、经常更新环境的兄弟
话不多说,开始安装:
环境配置:
1.java安装-jdk
spark依赖java,首先电脑中必须安装java。
具体可以看博主的这篇文章:
Java新人入职——配置环境及安装开发工具_Alex_81D的博客-CSDN博客
这里简单写一下参考即可
环境变量配置
依次点击我的电脑 ->属性->高级系统设置->环境变量,在系统变量选项卡中,新建一个系统变量,如下,变量名为JAVA_HOME,变量值为本地安装java的路径。
添加好JAVA_HOME后,需要为Path变量增加值,选择Path变量(同样在系统变量中),点击编辑,弹出如下弹窗,新建两个值,分别为%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin。
测试
环境变量配置好后,测试java是否安装成功,win+R打开运行对话框,输入cmd命令进入命令行窗口,输入java、javac、java -version查看java版本,有输出则说明java安装成功。
2.scala 安装
spark是由scala语言编写的,需要安装scala。
根据系统下载对应的版本,进行安装,安装位置可自行选择。
环境变量配置
同样,在系统变量的Path
中,增加一个值,为scala的安装路径。
测试
打开命令行窗口,输入scala
,出现如下界面表示安装成功。
3. hadoop安装
环境变量配置
新增HADOOP_HOME
系统变量,值为本地hadoop安装路径
增加Path系统变量的值,为%HADOOP_HOME%\bin
备注:
这块需要注意的是,有时候Hadoop确实一些包,需要手动下载 winutils.exe
下载对应版本的 winutils:https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.7/bin/winutils.exe,把下载到的bin文件夹覆盖到Hadoop安装目录的bin文件夹,确保其中含有winutils.exe文件
4. spark安装
「需要注意的是spark版本需要和hadoop版本对应」
环境变量配置
新增SPARK_HOME
系统变量,值为本地spark安装路径。
增加Path
系统变量的值,为%SPARK_HOME%\bin
测试
在命令行窗口,输入spark-shell
,出现如下界面,表示spark安装成功。
目录:
spark window单机版安装成功!单机版可以用来学习spark的基础使用,python用户可以用pyspark模块使用spark,R用于可以用SparkR包使用spark。
===================================================================
idea集成
修改一:改成可识别的资源
修改二:下载scala的插件
修改三:添加scala的sdk
四:添加maven
五:添加git关联(这步看个人情况)
这次先到这里,后面再说!