当前位置: 首页 > news >正文

hadoop-hdfs-伪分布式环境搭建-使用

配置

hadoop-env.sh (hadoop环境)

etc/hadoop/core-site.xml:

<property>

<name>fs.defauletFS</name>规划namenode在哪启动

<value>hdfs://node01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>放持久化文件数据

<value>/var/hadoop/local</value>

</property>

etc/hadoop/hdfs-site.xml

<property>

<name>dfs.replication</name>副本数,因为是伪分布式,所有要把副本数设置为1

<value>1</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>SSN配置项

<value>node01:50090</value>

</property>

vi slaves 设置datanode在哪启动

node01

第一次启动要格式化(初始化/opt/hadoop_data)

hadoop namenode -format

自己设置的文件夹/hadoop/local/dfs/name/current 元数据存放点,fsimage,

hdfs dfs所有hdfs命令

hdfs dfs -ls 文件数目录

start-dfs.sh 启动角色

hdfs dfs -mkdir -p /user/root 创建家目录

1048576字节=1M

hdfs dfs -D dfs.blocksize=1048576 -put test.txt 设置块大小,放入家目录中

hdfs dfs -ls"显示目录信息

"hdfs dfs -cat"查看文件内容

"hdfs dfs -mkdir"创建文件夹

"hdfs dfs -put"将Linux文件系统(本地)下的文件拷贝到hdfs中

"hdfs dfs -get"将文件从hdfs复制到本地

“hdfs dfs -chmod”设置文件权限

“hdfs dfs -chown”修改文件所属

HDFS HA:解决单点故障,通过主备NameNode解决

分为两类元数据:静态目录树和动态块的位置信息

NNActive NNStandby最终一致性

安装zookeeper 解压 设置环境变量 ./zkServer.sh start启动

转载于:https://www.cnblogs.com/huzicourenao/p/11014017.html

相关文章:

  • 【题解】分特产(组合数+容斥)
  • rabbitma客户端
  • CloudSim
  • 新入职感觉
  • 迭代(二):迭代法求方程的根
  • MySQL数据库可以用任意ip连接访问的方法
  • 网络编程实战之FTP的文件断点续传
  • C语言核心技术第一章
  • PHP Curl 请求同域的问题
  • 实验十
  • Python内置函数
  • CSS3属性—— line-clamp控制文本行数
  • 浏览器常用快捷键
  • 脾气
  • vue常用的修饰符
  • 【Leetcode】101. 对称二叉树
  • HTTP中GET与POST的区别 99%的错误认识
  • Linux下的乱码问题
  • MySQL几个简单SQL的优化
  • php中curl和soap方式请求服务超时问题
  • Quartz初级教程
  • Redis中的lru算法实现
  • SAP云平台运行环境Cloud Foundry和Neo的区别
  • Twitter赢在开放,三年创造奇迹
  • 搭建gitbook 和 访问权限认证
  • 计算机在识别图像时“看到”了什么?
  • 区块链共识机制优缺点对比都是什么
  • 如何设计一个微型分布式架构?
  • 微信小程序--------语音识别(前端自己也能玩)
  • 原生Ajax
  • 远离DoS攻击 Windows Server 2016发布DNS政策
  • python最赚钱的4个方向,你最心动的是哪个?
  • #AngularJS#$sce.trustAsResourceUrl
  • #vue3 实现前端下载excel文件模板功能
  • #设计模式#4.6 Flyweight(享元) 对象结构型模式
  • (ctrl.obj) : error LNK2038: 检测到“RuntimeLibrary”的不匹配项: 值“MDd_DynamicDebug”不匹配值“
  • (附源码)springboot宠物医疗服务网站 毕业设计688413
  • (理论篇)httpmoudle和httphandler一览
  • (牛客腾讯思维编程题)编码编码分组打印下标(java 版本+ C版本)
  • (一) storm的集群安装与配置
  • .babyk勒索病毒解析:恶意更新如何威胁您的数据安全
  • .NET Standard 支持的 .NET Framework 和 .NET Core
  • .Net 访问电子邮箱-LumiSoft.Net,好用
  • .NET/C# 使窗口永不获得焦点
  • .NET/C# 使窗口永不激活(No Activate 永不获得焦点)
  • .NET开发者必备的11款免费工具
  • .NET性能优化(文摘)
  • .w文件怎么转成html文件,使用pandoc进行Word与Markdown文件转化
  • /usr/bin/env: node: No such file or directory
  • @RunWith注解作用
  • [ C++ ] STL_vector -- 迭代器失效问题
  • [C#][DevPress]事件委托的使用
  • [CERC2017]Cumulative Code
  • [CISCN2019 华东南赛区]Web11
  • [GPT]Andrej Karpathy微软Build大会GPT演讲(上)--GPT如何训练