当前位置: 首页 > news >正文

一、Hadoop初始化配置(final+ubuntu保姆级教程)

1、配置虚拟机

        三台虚拟机,分别为node1、node2、node3,内存分别为4G、2G、2G,现存最好为(>40G),如下:

2、修改主机名

分别打开三台虚拟机,root用户输入一下命令:

node1虚拟机输入:
hostnamectl set-hostname node1
node2虚拟机输入:
hostnamectl set-hostname node2
node3虚拟机输入:
hostnamectl set-hostname node3

3、验证

输入完成之后,刷新cmd窗口,可以看到主机名发生变化:

 

4、修改配置文件

(1)图形化界面修改

设置-》网络-》点击-》将ipv4调整为手动-》修改地址、子网掩码、网关、dns

(2)重启网络设置

先开关按钮,再重启网络:

sudo systemctl restart NetworkManager.service

(3)查看修改结果

5、修改主机的host文件

找到C盘下的如下目录:

C:\Windows\System32\drivers\etc

打开第一个hosts文件,在文件末尾输入三台虚拟机的IP地址,然后保存,分别为:

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

6、finall shell连接

(1)建立连接

        因为已经在windows中配置过node1,所以这里主机名只需要输入node1即可,不需要输入IP地址。

(2)关闭防火墙

sudo ufw disable

(3)配置ssh

安装ssh服务器
sudo apt install openssh-server
安装ssh客户端
sudo apt install openssh-client

(4)配置root密码

        当你按照(1)中步骤连接时,会不断弹出密码框,这是因为在初始化Ubuntu时,我们只赋予了普通用户密码,并没有给与root用户密码,我们需要在Ubuntu中配置root用户密码:

sudo passwd root

(5)修改配置文件

        在root用户下,进入如下配置文件:

vim /etc/ssh/sshd_config

        找到PermitRootLogin……这一行:

        在这一行的下面添加如下语句:

PermitRootLogin yes

(6)重启ssh服务

systemctl restart sshd

(7)完成链接

7、修改Ubuntu中的hosts文件

(1)进入目录

vim /etc/hosts

(2)加入如下内容

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

8、为root用户创建ssh免密登录配置

(1)配置

(2)生成密钥

        输入如下语句,一路回车即可:

 ssh-keygen -t rsa -b 4096

(3)验证

(4)授权免密登录

在node1下执行如下语句,这里以node1中执行为例

·node1到node1免密登录

ssh-copy-id node1

·node1到node2免密登录

ssh-copy-id node2

·node1到node3免密登录

ssh-copy-id node3

9、为普通用户创建ssh免密登录

(1)为三台虚拟机创建hadoop用户

adduser:会自动为创建的用户指定主目录、系统shell版本,会在创建时输入用户密码。
useradd:需要使用参数选项指定上述基本设置,如果不使用任何参数,则创建的用户无密码、无主目录、没有指定shell版本。

这里强烈建议使用adduser,否则会在生成密钥时,出现“文件不存在报错”

adduser hadoop

(2)将三台虚拟机切换到hadoop用户

su hadoop

(3)生成密钥

        一直回车键即可,记着,三台虚拟机都要再生成一次密钥

ssh-keygen -t rsa -b 4096

(4)授权免密登录

这里请参考8、(4)进行操作

10、配置java的JDK

(1)创建目录

(2)上传文件和解压

安装rz,上传压缩包

解压文件

 tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server/

验证

(3)创建软连接

ln -s /export/server/jdk1.8.0_391 jdk

(4)修改配置文件

vim /etc/profile
在配置文件中加入:
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

刷新

 source /etc/profile

验证:

(5)删除操作系统自带的java

rm -f /usr/bin/java

(6)将刚刚下载java软连接到usr的bin文件中

ln -s /export/server/jdk/bin/java /usr/bin/java

验证

11、关闭防火墙和SELinux

(1)下载防火墙

apt install firewalld

 (2)关闭防火墙

systemctl stop firewalld
 systemctl disable firewalld

(3)关闭selinux

在安装selinux之后,输入如下,进入配置文件进行修改

 vim /etc/selinux/config

将文件第七行进行如上修改即可

12、修改时区

(1)安装ntp

apt install ntp

 (2)更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

(3)同步时间

ntpdate -u ntp.aliyun.com

(4)启动ntp

systemctl status ntp
systemctl enable ntp #开机自启

(5)验证是否开机自启动

yang@node1:~$ systemctl is-enabled ntp
enabled

相关文章:

  • 钉钉内嵌H5遇到的一些问题
  • html中使用JQ自定义锚点偏移量
  • 价钱统计
  • 数字摄影测量
  • 换服还是掀桌?哪条才是程序员的出路?
  • C++ [继承]
  • 【delphi】中 TNetHTTPClient 注意事项
  • springboot(ssm 高校教师电子名片系统 Java(codeLW)
  • 【ARM Trace32(劳特巴赫) 使用介绍 2 - Veloce 环境中使用trace32 连接 Cortex-M33】
  • C++ http协议POST body raw 字段向服务器发送请求
  • Linux Vim批量注释和自定义注释
  • flink的CoProcessFunction使用示例
  • 临界资源,临界区,通信的干扰问题(互斥),信号量(本质,上下文切换问题,原子性,自身的安全性,操作)
  • AI搞钱——工具篇之视频、音频转文字
  • FreeRTOS学习笔记——SysTick中断
  • __proto__ 和 prototype的关系
  • 【翻译】Mashape是如何管理15000个API和微服务的(三)
  • conda常用的命令
  • Django 博客开发教程 8 - 博客文章详情页
  • egg(89)--egg之redis的发布和订阅
  • iOS 系统授权开发
  • JavaScript 基本功--面试宝典
  • JS专题之继承
  • Linux快速配置 VIM 实现语法高亮 补全 缩进等功能
  • Meteor的表单提交:Form
  • python大佬养成计划----difflib模块
  • sessionStorage和localStorage
  • underscore源码剖析之整体架构
  • use Google search engine
  • vue-router 实现分析
  • 短视频宝贝=慢?阿里巴巴工程师这样秒开短视频
  • 前端设计模式
  • 追踪解析 FutureTask 源码
  • 字符串匹配基础上
  • 1.Ext JS 建立web开发工程
  • (day 12)JavaScript学习笔记(数组3)
  • (安卓)跳转应用市场APP详情页的方式
  • (附源码)ssm教师工作量核算统计系统 毕业设计 162307
  • (三)模仿学习-Action数据的模仿
  • (使用vite搭建vue3项目(vite + vue3 + vue router + pinia + element plus))
  • (一)python发送HTTP 请求的两种方式(get和post )
  • (转)Windows2003安全设置/维护
  • (转载)在C#用WM_COPYDATA消息来实现两个进程之间传递数据
  • ***测试-HTTP方法
  • .Net FrameWork总结
  • .NET 解决重复提交问题
  • .net 使用ajax控件后如何调用前端脚本
  • .NET中的Exception处理(C#)
  • [ vulhub漏洞复现篇 ] GhostScript 沙箱绕过(任意命令执行)漏洞CVE-2019-6116
  • [Android 13]Input系列--获取触摸窗口
  • [Android Pro] AndroidX重构和映射
  • [APIO2015]巴厘岛的雕塑
  • [C#]winform部署PaddleOCRV3推理模型
  • [C#]winform使用引导APSF和梯度自适应卷积增强夜间雾图像的可见性算法实现夜间雾霾图像的可见度增强
  • [C语言]编译和链接