当前位置: 首页 > news >正文

1 weekend110的hdfs源码跟踪之打开输入流 + hdfs源码跟踪之打开输入流总结

  

3种形式的元数据,fsimage是在磁盘上,meta.data是在内存上,

我们继续,前面呢,断点是打在这一行代码处,

FileSystem fs = FileSystem.get(conf);

weekend110的hdfs下载数据源码跟踪铺垫  +  hdfs下载数据源码分析-getFileSystem

 

 

现在,开始weekend110的hdfs源码跟踪之打开输入流

 

1、  清掉之前,所有的断点,

dfs是fs的成员,

此刻,断点过不去了,为什么?因为,这需要在服务器上运行。

由此可见,newInfo里面就是block信息。

LocatedBlocks{

  fileLength=143588167

  underConstruction=false

  blocks=[LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741856_1032; getBlockSize()=134217728; corrupt=false; offset=0; locs=[192.168.80.110:50010]}, LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741857_1033; getBlockSize()=9370439; corrupt=false; offset=134217728; locs=[192.168.80.110:50010]}]

  lastLocatedBlock=LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741857_1033; getBlockSize()=9370439; corrupt=false; offset=134217728; locs=[192.168.80.110:50010]}

  isLastBlockComplete=true}

BP-168439838-192.168.80.110-1468829197712

这是机器集群的信息,

 

[hadoop@weekend110 app]$ cd hadoop-2.4.1/

[hadoop@weekend110 hadoop-2.4.1]$ ll

total 60

drwxr-xr-x. 2 hadoop hadoop  4096 Jul 18 15:48 bin

drwxrwxr-x. 4 hadoop hadoop  4096 Jul 18 20:37 data

drwxr-xr-x. 3 hadoop hadoop  4096 Jun 21  2014 etc

drwxr-xr-x. 2 hadoop hadoop  4096 Jun 21  2014 include

drwxr-xr-x. 3 hadoop hadoop  4096 Jun 21  2014 lib

drwxr-xr-x. 2 hadoop hadoop  4096 Jun 21  2014 libexec

-rw-r--r--. 1 hadoop hadoop 15458 Jun 21  2014 LICENSE.txt

drwxrwxr-x. 3 hadoop hadoop  4096 Jul 22 11:20 logs

-rw-r--r--. 1 hadoop hadoop   101 Jun 21  2014 NOTICE.txt

-rw-r--r--. 1 hadoop hadoop  1366 Jun 21  2014 README.txt

drwxr-xr-x. 2 hadoop hadoop  4096 Jun 21  2014 sbin

drwxr-xr-x. 4 hadoop hadoop  4096 Jun 21  2014 share

[hadoop@weekend110 hadoop-2.4.1]$ clear

[hadoop@weekend110 hadoop-2.4.1]$ cd data/

[hadoop@weekend110 data]$ ll

total 8

drwxrwxr-x.  5 hadoop hadoop 4096 Jul 18 16:15 dfs

drwxr-xr-x. 12 hadoop hadoop 4096 Jul 22 11:20 nm-local-dir

[hadoop@weekend110 data]$ cd dfs/

[hadoop@weekend110 dfs]$ ll

total 12

drwx------. 3 hadoop hadoop 4096 Jul 18 23:07 data

drwxrwxr-x. 3 hadoop hadoop 4096 Jul 18 23:06 name

drwxrwxr-x. 3 hadoop hadoop 4096 Jul 18 23:07 namesecondary

[hadoop@weekend110 dfs]$ cd data/

[hadoop@weekend110 data]$ ll

total 8

drwxrwxr-x. 3 hadoop hadoop 4096 Jul 18 16:14 current

-rw-rw-r--. 1 hadoop hadoop   16 Jul 22 11:19 in_use.lock

[hadoop@weekend110 data]$ cd current/

[hadoop@weekend110 current]$ ll

total 8

drwx------. 4 hadoop hadoop 4096 Jul 22 11:20 BP-168439838-192.168.80.110-1468829197712

-rw-rw-r--. 1 hadoop hadoop  229 Jul 22 11:19 VERSION

[hadoop@weekend110 current]$ cd BP-168439838-192.168.80.110-1468829197712/

[hadoop@weekend110 BP-168439838-192.168.80.110-1468829197712]$ ll

total 12

drwxrwxr-x. 4 hadoop hadoop 4096 Jul 18 23:02 current

-rw-rw-r--. 1 hadoop hadoop    0 Jul 22 11:20 dncp_block_verification.log.curr

-rw-rw-r--. 1 hadoop hadoop  348 Jul 22 11:20 dncp_block_verification.log.prev

drwxrwxr-x. 2 hadoop hadoop 4096 Jul 22 11:19 tmp

[hadoop@weekend110 BP-168439838-192.168.80.110-1468829197712]$ cd current/

[hadoop@weekend110 current]$ ll

total 16

-rw-rw-r--. 1 hadoop hadoop   23 Jul 18 23:02 dfsUsed

drwxrwxr-x. 2 hadoop hadoop 4096 Jul 20 15:20 finalized

drwxrwxr-x. 2 hadoop hadoop 4096 Jul 20 15:20 rbw

-rw-rw-r--. 1 hadoop hadoop  131 Jul 22 11:19 VERSION

[hadoop@weekend110 current]$ cd finalized/

[hadoop@weekend110 finalized]$ ll

total 141340

-rw-rw-r--. 1 hadoop hadoop 134217728 Jul 19 09:59 blk_1073741856

-rw-rw-r--. 1 hadoop hadoop   1048583 Jul 19 09:59 blk_1073741856_1032.meta

-rw-rw-r--. 1 hadoop hadoop   9370439 Jul 19 09:59 blk_1073741857

-rw-rw-r--. 1 hadoop hadoop     73215 Jul 19 09:59 blk_1073741857_1033.meta

-rw-rw-r--. 1 hadoop hadoop       168 Jul 19 13:05 blk_1073741858

-rw-rw-r--. 1 hadoop hadoop        11 Jul 19 13:05 blk_1073741858_1034.meta

-rw-rw-r--. 1 hadoop hadoop        71 Jul 20 15:20 blk_1073741866

-rw-rw-r--. 1 hadoop hadoop        11 Jul 20 15:20 blk_1073741866_1042.meta

[hadoop@weekend110 finalized]$

 

 

以上是weekend110的hdfs源码跟踪之打开输入流

 

 

下面,继续,weekend110的hdfs源码跟踪之打开输入流总结

 

相关文章:

  • 支持手机版微信分享显示帖子标题+缩略图+简介】的分享奖励积分插件
  • springMvc源码学习之:spirngMvc的参数注入的问题
  • Rocket - util - LanePositionedQueue
  • URL中带加号的处理
  • XML操作
  • 制作支持UEFI PC的Server2008 R2系统安装U盘
  • c++ 中 毫秒级时间获取
  • golang使用oracle碰到go/lib/time/zoneinfo.zip: no such file or directory
  • Introduction to Machine Learning
  • Windows Server 2012 R2上安装.Net4.6.1出错
  • 解决操作缓冲池重复添加的问题
  • linux复制指定目录下的全部文件到另一个目录中,linux cp 文件夹
  • 更改阿里云域名解析台里某个域名绑定的IP之后不能解析到新IP
  • 区块链承兑系统是怎样的?
  • ionic2-loading动画
  • create-react-app项目添加less配置
  • ES6 学习笔记(一)let,const和解构赋值
  • HTTP--网络协议分层,http历史(二)
  • java8 Stream Pipelines 浅析
  • JavaScript类型识别
  • markdown编辑器简评
  • oschina
  • PHP 程序员也能做的 Java 开发 30分钟使用 netty 轻松打造一个高性能 websocket 服务...
  • ReactNative开发常用的三方模块
  • TypeScript迭代器
  • Vue实战(四)登录/注册页的实现
  • 不用申请服务号就可以开发微信支付/支付宝/QQ钱包支付!附:直接可用的代码+demo...
  • 讲清楚之javascript作用域
  • 模型微调
  • 一个普通的 5 年iOS开发者的自我总结,以及5年开发经历和感想!
  • 以太坊客户端Geth命令参数详解
  • CMake 入门1/5:基于阿里云 ECS搭建体验环境
  • !! 2.对十份论文和报告中的关于OpenCV和Android NDK开发的总结
  • ![CDATA[ ]] 是什么东东
  • # MySQL server 层和存储引擎层是怎么交互数据的?
  • ###项目技术发展史
  • $分析了六十多年间100万字的政府工作报告,我看到了这样的变迁
  • (html转换)StringEscapeUtils类的转义与反转义方法
  • (vue)页面文件上传获取:action地址
  • (ZT)一个美国文科博士的YardLife
  • (附源码)springboot建达集团公司平台 毕业设计 141538
  • (论文阅读23/100)Hierarchical Convolutional Features for Visual Tracking
  • (四)Controller接口控制器详解(三)
  • (转)fock函数详解
  • .NET CORE 3.1 集成JWT鉴权和授权2
  • .NET Core WebAPI中封装Swagger配置
  • .NET Core 和 .NET Framework 中的 MEF2
  • .NET MAUI学习笔记——2.构建第一个程序_初级篇
  • .NET的数据绑定
  • .net经典笔试题
  • .NET开发者必备的11款免费工具
  • .net连接oracle数据库
  • /bin、/sbin、/usr/bin、/usr/sbin
  • /proc/stat文件详解(翻译)
  • [].shift.call( arguments ) 和 [].slice.call( arguments )