当前位置: 首页 > news >正文

大数据||HDFS||NameNode启动过程详解

NameNode数据存放的地方有2个

1、内存
2、本地磁盘。镜像文件(fsimages)和日志文件(edits)

说明:格式化namenode目的是生成 fsimages文件。它是用来存放元数据的。


第一次启动过程如下:

0、format namenode
1、fsimages
2、start namenode

  • read  fsimages
    

3、start datanode

  •    向namenode注册
    
  •   向namenode报告(块信息)
    

4、create dir

  •    创建目录的过程中,会把操作过程记录到日志文件(edits)
    

5、put file

  •    上传文件过程中,会把操作过程记录到日志文件(edits)
    

6、delte file

  •    删除文件过程中,会把操作过程记录到日志文件(edits)
    

说明:所有的元数据操作改变都会写入到日志中。namenode中的元数据状态永远是最新的。namenode中的数据一份在内存,一份在磁盘

第二次启动过程如下:

1、启动namenode(只能读取磁盘文件),启动完成后最完整的元数据

  •  读取msimage镜像文件
    
  •   读取edit日志文件
    
  •    生成 gen  write msimages[new] 新的镜像文件
    
  •    生成一个新的 edit [null]为空的日志。
    

2、start datanode

  •    向namenode注册
    
  •   向namenode报告(块信息)
    

3、create dir

  •    创建目录的过程中,会把操作过程记录到日志文件(edits)
    

4、put file

  •    上传文件过程中,会把操作过程记录到日志文件(edits)
    

5、delte file

  •    删除文件过程中,会把操作过程记录到日志文件(edits)
    

相关文章:

  • [短彩信]C#短彩信模块开发设计(2)——配置
  • Java里面CompletableFuture详解
  • 10个最受欢迎的Java类
  • 国内 CDN 产品发展历史和现状整理
  • [译] 用 Java 创造你的第一个区块链-第一部分
  • vi
  • 文件上传下载
  • Flex与后台交互 鼠标忙时状态
  • 18.Azure备份(MARS)代理(下)
  • 5个能够有效帮助你快速创建超棒CSS3动画效果的类库
  • 用js实现页面跳转的几种方式
  • Bzoj1758: [Wc2010]重建计划
  • 图像编码介绍mark
  • redis集群部署及踩过的坑
  • 解决编译apache出现的问题:configure: error: APR not found . Please read the documentation
  • 〔开发系列〕一次关于小程序开发的深度总结
  • CentOS7简单部署NFS
  • Dubbo 整合 Pinpoint 做分布式服务请求跟踪
  • extract-text-webpack-plugin用法
  • JavaScript服务器推送技术之 WebSocket
  • Linux gpio口使用方法
  • node学习系列之简单文件上传
  • Octave 入门
  • PHP CLI应用的调试原理
  • 好的网址,关于.net 4.0 ,vs 2010
  • 简单数学运算程序(不定期更新)
  • 设计模式 开闭原则
  • 深入 Nginx 之配置篇
  • 一个JAVA程序员成长之路分享
  • 智能网联汽车信息安全
  • 带你开发类似Pokemon Go的AR游戏
  • ​Linux Ubuntu环境下使用docker构建spark运行环境(超级详细)
  • ​决定德拉瓦州地区版图的关键历史事件
  • ###51单片机学习(1)-----单片机烧录软件的使用,以及如何建立一个工程项目
  • #AngularJS#$sce.trustAsResourceUrl
  • (14)Hive调优——合并小文件
  • (TOJ2804)Even? Odd?
  • (zhuan) 一些RL的文献(及笔记)
  • (附源码)springboot 房产中介系统 毕业设计 312341
  • (附源码)计算机毕业设计SSM教师教学质量评价系统
  • (经验分享)作为一名普通本科计算机专业学生,我大学四年到底走了多少弯路
  • (十一)图像的罗伯特梯度锐化
  • .Family_物联网
  • .NET CF命令行调试器MDbg入门(一)
  • .net core开源商城系统源码,支持可视化布局小程序
  • .net framework 4.0中如何 输出 form 的name属性。
  • .Net 应用中使用dot trace进行性能诊断
  • .NET/C# 的字符串暂存池
  • .net开发时的诡异问题,button的onclick事件无效
  • .NET开源快速、强大、免费的电子表格组件
  • /etc/apt/sources.list 和 /etc/apt/sources.list.d
  • @param注解什么意思_9000字,通俗易懂的讲解下Java注解
  • @staticmethod和@classmethod的作用与区别
  • [2024最新教程]地表最强AGI:Claude 3注册账号/登录账号/访问方法,小白教程包教包会
  • [3300万人的聊天室] 作为产品的上游公司该如何?