第一步,创建用户 uhadoop
以root用户登录系统,执行一下命令
adduser uhadoop
第二步,配置环境变量
以uhadoop用户登录系统
把alias ll='ls -alF' 改为
保存退出。
下载JDK,配置环境变量
打开
http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html
mkdir backup; cd backup; wget
http://download.oracle.com/otn-pub/java/jdk/8u60-b27/jdk-8u60-linux-i586.tar.gz?AuthParam=1444199484_56b33029c564da077181136175621664
|
保存退出
JDK安装,配置完成。
第三步,官网下载hadoop
打开
http://hadoop.apache.org/releases.html
点击 Version2.6.1 的 binary Tarball
复制完下载链接后,执行
mkdir backup; cd backup; wget
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.1/hadoop-2.6.1.tar.gz
|
tar xf hadoop-2.6.1.tar.gz
|
ssh免密码登录
ssh免密码登录 配置完成。
第四步,修改hadoop配置
Local (Standalone) Mode 配置完成,测试
uhadoop@hadoop:~$ mkdir input
uhadoop@hadoop:~$ cp hadoop/etc/hadoop/*.xml input
uhadoop@hadoop:~$ hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar grep input/ output 'dfs[a-z]+'
|
执行完毕,查看结果
Pseudo-Distributed Mode配置
参考
http://hadoop.apache.org/docs/r2.6.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation
ConfigurationUse the following: etc/hadoop/core-site.xml: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> etc/hadoop/hdfs-site.xml: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> |
格式化完成。
启动namdenode 和 datanode
启动完成。
打开
http://192.168.1.110:50070/
在hdfs 中创建目录,上传文件
uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -mkdir /user
uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -mkdir /user/uhadoop
uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -put etc/hadoop/ input
uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -ls -R /
|
运行测试例子
uhadoop@hadoop:~/hadoop$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar grep input/ output 'dfs[a-z]+'
|
查看结果
uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -ls /user/uhadoop/output
|
over