当前位置: 首页 > news >正文

Linux环境安装Hadoop

(1)下载Hadoop安装包并上传

下载Hadoop安装包到本地,并导入到Linux服务器的/opt/software路径下

(2)解压安装包

解压安装文件并放到/opt/module下面

[root@hadoop100  ~]$ cd /opt/software
[root@hadoop100 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)将Hadoop添加到环境变量

 [root@hadoop100  ~]$ vim /etc/profile.d/hadoop_env.sh

在hadoop_env.sh文件末尾添加如下内容:

 #HADOOP_HOME
 export HADOOP_HOME=/opt/module/hadoop-3.1.3
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出:  :wq

(4)让修改文件生效

  [root@hadoop100 ~]$ source /etc/profile

如果命令还不能让hadoop生效,则重启虚拟机

[root@hadoop100 ~]$ sudo reboot

(5)测试是否安装成功

  [root@hadoop100 ~]$  hadoop version

(6)查看Hadoop目录结构

以下是Hadoop文件中重要的目录:

- bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
- etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
- lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
- sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
- share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例

(7)扩展:本地测试官方案例WordCount

WordCount是一个统计文件内单词数量的程序。可以理解为MapReduce的helloword。

1)创建测试文件

 [root@hadoop100 ~]$ cd /opt/module/hadoop-3.1.3[root@hadoop100 hadoop-3.1.3]$  mkdir wcinput[root@hadoop100 hadoop-3.1.3]$  cd wcinput[root@hadoop100 wcinput]$   vim word.txt

在文件中输入以下内容:

hadoop yarn
hadoop mapreduce
test
test

保存并退出:  :wq

 2)执行程序

回到Hadoop目录/opt/module/hadoop-3.1.3,执行程序

  [root@hadoop100 wcinput]$   cd ../[root@hadoop100 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

命令结构:

hadoop jar  Jar包的路径  Jar包的主类 传递给主类的参数地址  由主类执行后输出的结果地址

3)查看结果

[root@hadoop100 hadoop-3.1.3]$ cat wcoutput/part-r-00000

相关文章:

  • JDBC学习,从入门到入土
  • 如何搭建Web自动化测试框架?
  • MyBatis:动态 SQL 标签
  • [AutoSar]状态管理(五)Dcm与BswM、EcuM的复位实现
  • C语言数据结构-排序
  • flutter + firebase 云消息通知教程 (android-安卓、ios-苹果)
  • 【爬虫软件】孔夫子二手书采集
  • Java 中的内部类的定义
  • python异常之try/else分句
  • 基于比较的排序算法总结(java实现版)
  • 175.【2023年华为OD机试真题(C卷)】API集群负载统计(遍历和条件判断实现JavaPythonC++JS)
  • 【Docker】升级docker或者docker到docker-ce完全保留镜像和容器,不影响原容器使用方法
  • 论文笔记 | Nature 2023 FunSearch:利用大语言模型在数学科学领域探索新的发现
  • 使用yarn安装electron时手动选择版本
  • docker运行java程序的Dockerfile
  • @jsonView过滤属性
  • CAP 一致性协议及应用解析
  • IDEA 插件开发入门教程
  • Java 23种设计模式 之单例模式 7种实现方式
  • LeetCode刷题——29. Divide Two Integers(Part 1靠自己)
  • Linux各目录及每个目录的详细介绍
  • Python进阶细节
  • SpringBoot几种定时任务的实现方式
  • ucore操作系统实验笔记 - 重新理解中断
  • vue2.0一起在懵逼的海洋里越陷越深(四)
  • 程序员最讨厌的9句话,你可有补充?
  • 服务器之间,相同帐号,实现免密钥登录
  • 一起来学SpringBoot | 第十篇:使用Spring Cache集成Redis
  • 字符串匹配基础上
  • 《TCP IP 详解卷1:协议》阅读笔记 - 第六章
  • ​ 无限可能性的探索:Amazon Lightsail轻量应用服务器引领数字化时代创新发展
  • ​Distil-Whisper:比Whisper快6倍,体积小50%的语音识别模型
  • ​软考-高级-信息系统项目管理师教程 第四版【第23章-组织通用管理-思维导图】​
  • (C++20) consteval立即函数
  • (react踩过的坑)Antd Select(设置了labelInValue)在FormItem中initialValue的问题
  • (八)五种元启发算法(DBO、LO、SWO、COA、LSO、KOA、GRO)求解无人机路径规划MATLAB
  • (附源码)spring boot车辆管理系统 毕业设计 031034
  • (附源码)spring boot球鞋文化交流论坛 毕业设计 141436
  • (深入.Net平台的软件系统分层开发).第一章.上机练习.20170424
  • (四)docker:为mysql和java jar运行环境创建同一网络,容器互联
  • (四)图像的%2线性拉伸
  • .cfg\.dat\.mak(持续补充)
  • .h头文件 .lib动态链接库文件 .dll 动态链接库
  • .NET CORE 第一节 创建基本的 asp.net core
  • .NetCore部署微服务(二)
  • .NET业务框架的构建
  • .Net语言中的StringBuilder:入门到精通
  • [ 网络基础篇 ] MAP 迈普交换机常用命令详解
  • [AHOI2009]中国象棋 DP,递推,组合数
  • [AMQP Connection 127.0.0.1:5672] An unexpected connection driver error occured
  • [BZOJ2208][Jsoi2010]连通数
  • [C++] 如何使用Visual Studio 2022 + QT6创建桌面应用
  • [excel与dict] python 读取excel内容并放入字典、将字典内容写入 excel文件
  • [Hadoop in China 2011] 蒋建平:探秘基于Hadoop的华为共有云
  • [node]Node.js 模块系统