当前位置: 首页 > news >正文

hadoop on nitrous.io

为什么80%的码农都做不了架构师?>>>   hot3.png

Prepare SSH

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

Configuration

vim /home/action/software/hadoop-1.2.1/conf/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-oracle

bin/hadoop namenode -format

bin/hadoop fs -mkdir input
bin/hadoop fs -put conf input
bin/hadoop fs -cp conf/*.xml input 

bin/start-all.sh

bin/hadoop jar hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+'
bin/hadoop fs -rmr output

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output
bin/hadoop fs -rmr output

bin/stop-all.sh

core-site.xml

<configuration>
    <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
    </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/action/tmp</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
</configuration>

mapred-site.xml

<configuration>
 <property>
   <name>mapred.job.tracker</name>
   <value>localhost:9001</value>
 </property>
</configuration>

"hadoop.tmp.dir" must be set, otherwise it will throw error

admin interface

http://localhost:50030/ - Hadoop 管理介面
http://localhost:50060/ - Hadoop Task Tracker 状态
http://localhost:50070/ - Hadoop DFS 状态

#Reference# angelosun.iteye.com
shaurong.blogspot.hk
blog.csdn.net

转载于:https://my.oschina.net/l1z2g9/blog/168100

相关文章:

  • java常见日志理解
  • cobbler使用入门(未完整,待修改)
  • Externalizable和Serializable序列化与关键字transient
  • nmon系统监控工具
  • oracle官方文档使用
  • FlashBuilder(FB/eclipse) 打开多个无效
  • python 读写文件时,r、rt、rb、r+的区别
  • 类什么时候被加载
  • 【异构计算】OpenCL矩阵转置
  • Lazy initialization holder class模式
  • 基于HTTP的WEB服务器端口映射
  • 静态常量(static final)在class文件里是如何的呢?
  • IOS管理文件和目录
  • WIN7实现多用户远程桌面
  • Linux下rsh服务配置
  • (ckeditor+ckfinder用法)Jquery,js获取ckeditor值
  • 「面试题」如何实现一个圣杯布局?
  • 08.Android之View事件问题
  • 2017-09-12 前端日报
  • 5分钟即可掌握的前端高效利器:JavaScript 策略模式
  • css属性的继承、初识值、计算值、当前值、应用值
  • docker python 配置
  • Docker容器管理
  • Facebook AccountKit 接入的坑点
  • JAVA SE 6 GC调优笔记
  • JavaScript的使用你知道几种?(上)
  • macOS 中 shell 创建文件夹及文件并 VS Code 打开
  • SQLServer之创建显式事务
  • Wamp集成环境 添加PHP的新版本
  • Webpack4 学习笔记 - 01:webpack的安装和简单配置
  • 快速体验 Sentinel 集群限流功能,只需简单几步
  • 聊聊flink的TableFactory
  • 每天10道Java面试题,跟我走,offer有!
  • 七牛云假注销小指南
  • 前言-如何学习区块链
  • 什么是Javascript函数节流?
  • 使用 Docker 部署 Spring Boot项目
  • 应用生命周期终极 DevOps 工具包
  • 正则学习笔记
  • 回归生活:清理微信公众号
  • 如何用纯 CSS 创作一个菱形 loader 动画
  • $refs 、$nextTic、动态组件、name的使用
  • (Matalb分类预测)GA-BP遗传算法优化BP神经网络的多维分类预测
  • (更新)A股上市公司华证ESG评级得分稳健性校验ESG得分年均值中位数(2009-2023年.12)
  • (论文阅读22/100)Learning a Deep Compact Image Representation for Visual Tracking
  • (算法)N皇后问题
  • (已解决)报错:Could not load the Qt platform plugin “xcb“
  • (转)ABI是什么
  • *++p:p先自+,然后*p,最终为3 ++*p:先*p,即arr[0]=1,然后再++,最终为2 *p++:值为arr[0],即1,该语句执行完毕后,p指向arr[1]
  • ./configure、make、make install 命令
  • .NET 8 编写 LiteDB vs SQLite 数据库 CRUD 接口性能测试(准备篇)
  • .NET 8.0 中有哪些新的变化?
  • .NET CF命令行调试器MDbg入门(二) 设备模拟器
  • .NET/C# 使用 #if 和 Conditional 特性来按条件编译代码的不同原理和适用场景
  • .pings勒索病毒的威胁:如何应对.pings勒索病毒的突袭?