当前位置：首页 > news >正文

Hadoop-2.8.0安装教程---单机/伪分布式配置

news 来源：原创 2024/5/18 22:41:30

1、安装环境：

硬件：VMware虚拟机
操作系统：Centos 7 64位
IP:192.168.1.134
主机名：bogon
安装用户：hzq
Java环境：jdk-8u131-linux-x64.tar.gz（具体安装步骤见：《Linux安装JDK步骤》）

2、配置免密码登录见：《Linux之ssh免密登录》

3、安装hadoop-2.8.0

①、下载hadoop-2.8.0

下载地址：http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

②、创建安装目录及数据存储目录，安装位置“/home/hzq/hadoop”

       mkdir /home/hzq/hadoop
       mkdir /home/hzq/hadoop/data

③、解压“hadoop-2.8.0.tar.gz”到“/home/hzq/hadoop”文件中：

       tar -zxvf hadoop-2.8.0.tar.gz  -C /home/hzq/hadoop/

④、配置“/etc/profile”文件，添加如下代码：

       HADOOP_HOME=/home/hzq/hadoop/hadoop-2.8.0
       PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
       export  PATH HADOOP_HOME

如图：

配置完成后保存，使用下面命令使配置文件生效：

       source /etc/profile

⑤、配置hadoop

进入/home/hzq/hadoop/hadoop-2.8.0/etc/hadoop目录，修改如下文件：

配置：hadoop-env.sh

      # The java implementation to use.
      #export JAVA_HOME=${JAVA_HOME}
      export JAVA_HOME=/home/hzq/software/jdk1.8.0_131

配置：core-site.xml

       <configuration>
               <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
               <property>
                       <name>fs.defaultFS</name>
                       <value>hdfs://logon:9000</value>
               </property>
               <!-- 指定hadoop运行时产生文件的存储目录 -->
               <property>
                       <name>hadoop.tmp.dir</name>
                       <value>/home/hzq/hadoop/data</value>
                </property>
       </configuration>

配置：hdfs-site.xml

       <configuration>
               <!-- 指定HDFS副本的数量 -->
               <property>
                       <name>dfs.replication</name>
                       <value>1</value>
               </property>
       </configuration>

配置：“mapred-site.xml“文件，但是我们发现没有这个文件，有一个“mapred-site.xml.template”文件，我们将其修改成“mapred-site.xml”文件，进行配置。

       <configuration>
               <!-- 指定mr运行在yarn上 -->
               <property>
                       <name>mapreduce.framework.name</name>
                       <value>yarn</value>
               </property>

       </configuration>

配置：yarn-site.xml

       <configuration>
           <!-- Site specific YARN configuration properties -->
           <!-- 指定YARN的老大（ResourceManager）的地址 -->
           <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>bogon</value>
           </property>
                       <!-- reducer获取数据的方式 -->
           <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
            </property>
       </configuration>

4、启动hadoop

①、格式化namenode