在ubuntu系统上使用Hadoop搭建集群
在ubuntu系统上使用Hadoop搭建集群
两台ubuntu（注意：hosts、config以及hadoop中的主节点、附属节点的主机名应保持一致）参考博客
1、配置ssh（默认连接方式 ssh 用户名@主机ip）使得免ip、免用户名登录（ssh 自定义主机名）
-
修改/etc/hosts文件添加主机名和ip的映射，使得免ip
-
修改~/.ssh/config 文件使得免用户名
2、安装hadoop并配置hadoop环境变量、安装java并配置JAVA_HOME（参考博客）
3、修改/usr/local/hadoop/etc/hadoop 中的几个配置文件
-
hadoop-env.sh：配置运行时的环境，指定JAVA_HOME的安装目录：export JAVA_HOME=安装目录（注意必须直接指出安装路径，不能使用$JAVA_HOME,否则运行时会报错找不到JAVA_HOME）
-
slaves（标明所有的附属节点主机名，使用该主机名可以直接ssh登录主机）（该文件仅master节点持有）把所有从节点的主机名写到这儿就可以，这是告诉hadoop进程哪些机器是从节点。每行写一个，例如
前提是你已经为每个节点进行了hostname的命名。而且每个节点的hosts文件你修改了本地dns的指向，让这些主机指向约定好的IP。然后每个节点的hosts文件保持同步。
-
核心配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
core-site.xml:文件系统采用hdfs实现、临时数据存放的位置、缓冲区大小，实际工作中根据服务器性能动态调整、开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收
hdfs-site.xml:
mapred-site.xml
yarn-site.xml:这个文件就是配置资源管理系统yarn了，其中主要指定了一些节点资源管理器nodemanager，以及总资源管理器resourcemanager的配置。 可以看到这个配置中，跟mapreduce框架是相关的。
4、将hadoop文件夹发送给其他的slave节点、删除其中的slaves文件、在各个slave节点上配置hadoop环境变量、安装java并配置JAVA_HOME（参考博客）
5、启动(在master节点)
-
执行NameNode的格式化：
hdfs namenode -format（第一次启动服务前进行的操作，之后再开启集群无需此操作） -
启动 Hadoop：
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver -
可以在master和slave节点上使用jps命令查看各个节点所启动的进程
master
slave1
-
关闭集群
stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver