当前位置： 首页 > news >正文

Linux的企业-Hadoop的多节点配置

news 来源：原创 2024/5/5 23:58:12

一.配置环境

redhat6.5

server1 172.25.29.1  hadoop master nfs

server2 172.25.29.2  nfs

server3 172.25.29.3  nfs

server4 172.25.29.4  nfs

server5 172.25.29.5  高可用备机 nfs

使用 nfs 共享同步配置文件


二.Hadoop单点配置

1.安装hadoop和jdk

280119253ea3e12c306a6a854659aaa3.png


使用hadoop用户运行

d303c71135a29dc7a37d52f1cd306498.png


2.配置hadoop在java上的运行环境

09cb7e59f71da918f0ca675ba9681079.png

0b94156e628756e63656273097461bb0.png


3.算法模块测试

934fbc3b4262f21d93c2ea67c8a09422.png

e1733804f89f021feda1af13881e0306.png

04554a45579067d5a7f8fe198c9231f0.png



output生成的数据

6c4a1166ed02002823b432e92d08dc4f.png


4.配置单点hadoop


4becdb2870a1b45b5c878fe899e1d5a9.png


22e84e812e3cec3c05f0be979cf720ee.png

b6866cd32e1440855e68018aebe3acf9.png


5.给hadoop设置用户密码，设置主机之间免密

5a7f6977929a309ae329703901d737ce.png

ffcb3d48474134ccdf7ae5a2e363c16f.png

70aa88bb18d7dd936c352c34a798ec0b.png

9173d41f3df113e892889af7e1cf8792.png


6.设置储存节点为1个

c92693474d205645ff228f6d24bde45a.png

b6f6ba6a24361333574c4c0196242cdb.png

7.格式化hdfs

397339421feeae3fbaf67d2ac4d92cf9.png


8.启动hadoop

3177fda9f90b47fa7c7ea35ec648b63d.png


9.设置查看进程的java的命令jps的运行路径

7e5814b639db1714e005547b66e4b286.png

a7eaf0a54f6d9db9ee4d2901d1e5a18b.png


10.查看节点运行状态，测试

58e593b128916f822a34898471aa143b.png

8733b89ce5acb113c08305890feedd2e.png

11.以文本模式查看结果

444cb31ce4d57b8c3dbb22090b9d3fe4.png


创建目录

7f8d5904bef19c68935225413c7d4849.png

5393b3699740093595f4d28ff8a010db.png

9b71aa069a02a04567f0fcfc7a56345a.png

cd10aee684cec903d514127a1370e6b3.png

948165d6ad89b8c3cd4a862809e2e33a.png


四.多节点hadoop配置

使用 nfs 共享同步配置文件

1.server1配置nfs服务

179092d9a5493c3d410a915ecc335cc4.png


eb5c5ea2b20b9b3f763543850434f5d8.png

6a662892bdc18b4e344ae475fa9efb00.png

93dcf30bb84be6c8c34e72a0040520f9.png


2.在server2至server5安装nfs，并新建hadoop用户，并启动rpcbind

ba8c8f816f8a406493fe2b1021762aed.png


104ba509f0e3897d0f9cbbb6c2e17b61.png

d2a7dd7dbad374ce8f16d101f10ad9b6.png


3.建立主机之间免密

8beee3f55d8ba18766279f4f626990bd.png

b38e699b90895dd0a7bf2a63d09fddea.png

b26aa6d60d9fb40813843504d7fbf5b8.png


4.hadoop集群配置

90d733014b90a7e3078a0cc395e4faa3.png

738916de261033547cd6f9e76ecb574a.png

b515247afdca2965af7db3c95258dd25.png


5.格式化hdfs

114ea4c287a89838e2ed3fe1d773f4d8.png

f9111ec6ad645564034e81c654350457.png


6.启动hadoop集群

504f87797d4078ad9532e8cce11d544b.png

查看节点2，3和状态

bbda4c2ddd9b3a35103a1c78fdc408ed.png

ab791ae8151972a0db3ad18c8f847b83.png


7.登陆web 172.25.29.1：50070

67f800d58d9043d683847c8c2f680616.png


8.启动集群管理资源模块

9b5da16f9de56410f05d823d144f0068.png

4da67337a581f327afa2701df9c7e90c.png

4074ec199f9ea69294457c688432a5c0.png

b1657ea804355d92f0bc64ffa9473d13.png





      本文转自一百个小排 51CTO博客，原文链接：http://blog.51cto.com/anfishr/1975948，如需转载请自行联系原作者



相关文章：

  • IP地址的正则表达式
  • [CTO札记]盛大文学公司名称对联
  • Linux 各文件夹作用
  • Groundwork：响应式 HTML5，CSS JavaScript 工具包
  • 主机安全检测nessus的安装以及配置
  • Android应用程序组件Content Provider的启动过程源代码分析（7）
  • ipv6
  • Docker--------registry私有仓库搭建 [ Http ]
  • 实战：Windows Server 2008 活动目录 传送和争夺操作主控角色
  • AIX 5.3 Install Oracle 10g RAC 错误集锦--9i RAC present
  • All Our N-gram are Belong to You
  • 域用户权限|运行软件
  • 使用GitHub进行版本管理
  • RAC 开启gsd和oc4j服务
  • 让LINUX发出声音
  • 「译」Node.js Streams 基础
  • Apache的基本使用
  • HTTP那些事
  • 百度贴吧爬虫node+vue baidu_tieba_crawler
  • 前端技术周刊 2018-12-10：前端自动化测试
  • 如何在GitHub上创建个人博客
  • 温故知新之javascript面向对象
  • 责任链模式的两种实现
  • 智能合约开发环境搭建及Hello World合约
  • 选择阿里云数据库HBase版十大理由
  • #if和#ifdef区别
  • #每日一题合集#牛客JZ23-JZ33
  • （ｃ语言）strcpy函数用法
  • (delphi11最新学习资料) Object Pascal 学习笔记---第8章第5节（封闭类和Final方法）
  • (ibm)Java 语言的 XPath API
  • （Redis使用系列） Springboot 使用redis实现接口Api限流 十
  • （附源码）spring boot车辆管理系统 毕业设计 031034
  • （附源码）springboot青少年公共卫生教育平台 毕业设计 643214
  • （附源码）springboot猪场管理系统 毕业设计 160901
  • （十六）Flask之蓝图
  • （转）JVM内存分配 -Xms128m -Xmx512m -XX:PermSize=128m -XX:MaxPermSize=512m
  • (转)重识new
  • ..回顾17，展望18
  • .mysql secret在哪_MySQL如何使用索引
  • .Net Attribute详解(上)-Attribute本质以及一个简单示例
  • .NET 的静态构造函数是否线程安全？答案是肯定的！
  • .NET 线程 Thread 进程 Process、线程池 pool、Invoke、begininvoke、异步回调
  • .NET/C# 项目如何优雅地设置条件编译符号？
  • .net和jar包windows服务部署
  • .net中调用windows performance记录性能信息
  • .考试倒计时43天！来提分啦！
  • /var/lib/dpkg/lock 锁定问题
  • @modelattribute注解用postman测试怎么传参_接口测试之问题挖掘
  • [ C++ ] 继承
  • [Angular] 笔记 16：模板驱动表单 - 选择框与选项
  • [BUG]vscode插件live server无法自动打开浏览器
  • [BZOJ3757] 苹果树
  • [C#]winform部署PaddleOCRV3推理模型
  • [C++] sqlite3_get_table 的使用
  • [C++]AVL树怎么转