学习大数据环境搭建

• 虚拟机环境准备

安装虚拟机，IP地址192.168.52.129、主机名称centos、内存4G、硬盘50G

模板虚拟机配置要求如下（本文Linux系统全部以CentOS-7.9-x86-1804为例）

• 1. 克隆虚拟机hadoop01
• 利用模板机，克隆hadoop01虚拟机

注意：克隆时，要先关闭模板机

1. 1. Hadoop01虚拟机环境配置
2. 、修改克隆机IP，以下以hadoop01举例说明

• 修改克隆虚拟机的静态IP

[root@centos ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=static

NAME="ens33"

IPADDR=192.168.52.201

PREFIX=24

GATEWAY=192.168.52.2

DNS1=192.168.52.2

• 修改克隆机主机名，以下以hadoop01举例说明

（1）修改主机名称

[root@centos ~]# vim /etc/hostname

hadoop01

（2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

[root@centos ~]# vim /etc/hosts

添加如下内容

192.168.52.201 hadoop01

192.168.52.202 hadoop02

192.168.52.203 hadoop03

• 重启克隆机hadoop01 

[root@centos ~]# reboot

1. 、使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

1. 、安装epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包， 适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

[root@centos ~]# yum install -y epel-release

1. 、注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌 面标准版，不需要执行如下操作

• net-tool：工具包集合，包含ifconfig等命令

[root@centos ~]# yum install -y net-tools

• vim：编辑器

[root@centos ~]# yum install -y vim

1. 、关闭防火墙，关闭防火墙开机自

[root@centos ~]# systemctl stop firewalld

[root@centos ~]# systemctl disable firewalld.service

注意：在企业开发时，通常单个服务器的防火墙是关闭的。公司整体对外会设置非常安全的防火墙

1. 、关闭SElinux

vim /etc/selinux/config

SELINUX=disabled

1. 、 修改windows的主机映射文件（hosts文件）

（1）如果操作系统是window7，可以直接修改

（a）进入C:\Windows\System32\drivers\etc路径

（b）打开hosts文件并添加如下内容，然后保存

192.168.52.201 hadoop01

192.168.52.202 hadoop02

192.168.52.203 hadoop03

（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可

（a）进入C:\Windows\System32\drivers\etc路径

（b）拷贝hosts文件到桌面

（c）打开桌面hosts文件并添加如下内容

192.168.52.201 hadoop01

192.168.52.202 hadoop02

192.168.52.203 hadoop03

（d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

1. 1. 虚拟机安装JDK
2. 查询原有的jdk

[root@hadoop01 ~]# rpm -qa | grep jdk

java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64

copy-jdk-configs-3.3-10.el7_5.noarch

java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64

java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64

java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64

1. 卸载原有jdk

yum -y remove java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64

copy-jdk-configs-3.3-10.el7_5.noarch

java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64

java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64

java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64

1. 将JDK导入到export目录下面的software文件夹下面

解压到/export/servers

 tar -zxvf jdk-8u212-linux-x64.tar.gz  -C /export/servers/

1. 配置JDK环境变量

（1）新建/etc/profile.d/my_env.sh文件

[root@hadoop01 ~]# vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME

export JAVA_HOME=/export/servers/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

（2）保存后退出

:wq

（3）source一下/etc/profile文件，让新的环境变量PATH生效

[root@hadoop01 ~]# source /etc/profile

1. 测试JDK是否安装成功

[root@hadoop01 ~]# java -version

如果能看到以下结果，则代表Java安装成功。

java version "1.8.0_212"

注意：重启（如果java -version可以用就不用重启）

[root@hadoop01 ~]# reboot

• 1. 克隆虚拟机hadoop02 hadoop03
• 利用hadoop01，克隆三台虚拟机：hadoop02 hadoop03

注意：克隆时，要先关闭hadoop01

• 修改克隆机IP，以下以hadoop02举例说明

（1）修改克隆虚拟机的静态IP

[root@hadoop02 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=static

NAME="ens33"

IPADDR=192.168.52.202

PREFIX=24

GATEWAY=192.168.52.2

DNS1=192.168.52.2

• 修改克隆机主机名，以下以hadoop01举例说明

（1）修改主机名称

[root@hadoop01 ~]# vim /etc/hostname

hadoop02

（2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

[root@hadoop01 ~]# vim /etc/hosts

添加如下内容

192.168.52.201 hadoop01

192.168.52.202 hadoop02

192.168.52.203 hadoop03

• 重启克隆机hadoop02 

[root@hadoop01 ~]# reboot

• 克隆hadoop03，参考以上步骤
  1. SSH无密登录配置

• 生成公钥和私钥

[root@hadoop01 ~]# ssh-keygen -t rsa

[root@hadoop01 .ssh]# pwd

/root/.ssh

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

• 将公钥拷贝到要免密登录的目标机器上

[root@hadoop01 .ssh]# ssh-copy-id hadoop01

[root@hadoop01 .ssh]# ssh-copy-id hadoop02

[root@hadoop01 .ssh]# ssh-copy-id hadoop03

• 分别在hadoop02和hadoop03上设置①②两步

• .ssh文件夹下（~/.ssh）的文件功能解释

1. 1. 创建普通用户

在三台机器上操作：创建两个linux用户：test,elasticsearch

创建用户：useradd elasticsearch  

elasticsearch 用户设置密码 ：passwd elasticsearch

创建用户：useradd test

test用户设置密码 ：passwd test

修改权限 vi /etc/sudoers