1 weekend110的hdfs源码跟踪之打开输入流 + hdfs源码跟踪之打开输入流总结

3种形式的元数据,fsimage是在磁盘上,meta.data是在内存上,

我们继续,前面呢,断点是打在这一行代码处,
FileSystem fs = FileSystem.get(conf);
weekend110的hdfs下载数据源码跟踪铺垫 + hdfs下载数据源码分析-getFileSystem
现在,开始weekend110的hdfs源码跟踪之打开输入流
1、 清掉之前,所有的断点,










































dfs是fs的成员,






















































此刻,断点过不去了,为什么?因为,这需要在服务器上运行。


由此可见,newInfo里面就是block信息。
LocatedBlocks{
fileLength=143588167
underConstruction=false
blocks=[LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741856_1032; getBlockSize()=134217728; corrupt=false; offset=0; locs=[192.168.80.110:50010]}, LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741857_1033; getBlockSize()=9370439; corrupt=false; offset=134217728; locs=[192.168.80.110:50010]}]
lastLocatedBlock=LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741857_1033; getBlockSize()=9370439; corrupt=false; offset=134217728; locs=[192.168.80.110:50010]}
isLastBlockComplete=true}

BP-168439838-192.168.80.110-1468829197712
这是机器集群的信息,

[hadoop@weekend110 app]$ cd hadoop-2.4.1/
[hadoop@weekend110 hadoop-2.4.1]$ ll
total 60
drwxr-xr-x. 2 hadoop hadoop 4096 Jul 18 15:48 bin
drwxrwxr-x. 4 hadoop hadoop 4096 Jul 18 20:37 data
drwxr-xr-x. 3 hadoop hadoop 4096 Jun 21 2014 etc
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 21 2014 include
drwxr-xr-x. 3 hadoop hadoop 4096 Jun 21 2014 lib
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 21 2014 libexec
-rw-r--r--. 1 hadoop hadoop 15458 Jun 21 2014 LICENSE.txt
drwxrwxr-x. 3 hadoop hadoop 4096 Jul 22 11:20 logs
-rw-r--r--. 1 hadoop hadoop 101 Jun 21 2014 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop 1366 Jun 21 2014 README.txt
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 21 2014 sbin
drwxr-xr-x. 4 hadoop hadoop 4096 Jun 21 2014 share
[hadoop@weekend110 hadoop-2.4.1]$ clear
[hadoop@weekend110 hadoop-2.4.1]$ cd data/
[hadoop@weekend110 data]$ ll
total 8
drwxrwxr-x. 5 hadoop hadoop 4096 Jul 18 16:15 dfs
drwxr-xr-x. 12 hadoop hadoop 4096 Jul 22 11:20 nm-local-dir
[hadoop@weekend110 data]$ cd dfs/
[hadoop@weekend110 dfs]$ ll
total 12
drwx------. 3 hadoop hadoop 4096 Jul 18 23:07 data
drwxrwxr-x. 3 hadoop hadoop 4096 Jul 18 23:06 name
drwxrwxr-x. 3 hadoop hadoop 4096 Jul 18 23:07 namesecondary
[hadoop@weekend110 dfs]$ cd data/
[hadoop@weekend110 data]$ ll
total 8
drwxrwxr-x. 3 hadoop hadoop 4096 Jul 18 16:14 current
-rw-rw-r--. 1 hadoop hadoop 16 Jul 22 11:19 in_use.lock
[hadoop@weekend110 data]$ cd current/
[hadoop@weekend110 current]$ ll
total 8
drwx------. 4 hadoop hadoop 4096 Jul 22 11:20 BP-168439838-192.168.80.110-1468829197712
-rw-rw-r--. 1 hadoop hadoop 229 Jul 22 11:19 VERSION
[hadoop@weekend110 current]$ cd BP-168439838-192.168.80.110-1468829197712/
[hadoop@weekend110 BP-168439838-192.168.80.110-1468829197712]$ ll
total 12
drwxrwxr-x. 4 hadoop hadoop 4096 Jul 18 23:02 current
-rw-rw-r--. 1 hadoop hadoop 0 Jul 22 11:20 dncp_block_verification.log.curr
-rw-rw-r--. 1 hadoop hadoop 348 Jul 22 11:20 dncp_block_verification.log.prev
drwxrwxr-x. 2 hadoop hadoop 4096 Jul 22 11:19 tmp
[hadoop@weekend110 BP-168439838-192.168.80.110-1468829197712]$ cd current/
[hadoop@weekend110 current]$ ll
total 16
-rw-rw-r--. 1 hadoop hadoop 23 Jul 18 23:02 dfsUsed
drwxrwxr-x. 2 hadoop hadoop 4096 Jul 20 15:20 finalized
drwxrwxr-x. 2 hadoop hadoop 4096 Jul 20 15:20 rbw
-rw-rw-r--. 1 hadoop hadoop 131 Jul 22 11:19 VERSION
[hadoop@weekend110 current]$ cd finalized/
[hadoop@weekend110 finalized]$ ll
total 141340
-rw-rw-r--. 1 hadoop hadoop 134217728 Jul 19 09:59 blk_1073741856
-rw-rw-r--. 1 hadoop hadoop 1048583 Jul 19 09:59 blk_1073741856_1032.meta
-rw-rw-r--. 1 hadoop hadoop 9370439 Jul 19 09:59 blk_1073741857
-rw-rw-r--. 1 hadoop hadoop 73215 Jul 19 09:59 blk_1073741857_1033.meta
-rw-rw-r--. 1 hadoop hadoop 168 Jul 19 13:05 blk_1073741858
-rw-rw-r--. 1 hadoop hadoop 11 Jul 19 13:05 blk_1073741858_1034.meta
-rw-rw-r--. 1 hadoop hadoop 71 Jul 20 15:20 blk_1073741866
-rw-rw-r--. 1 hadoop hadoop 11 Jul 20 15:20 blk_1073741866_1042.meta
[hadoop@weekend110 finalized]$
以上是weekend110的hdfs源码跟踪之打开输入流
下面,继续,weekend110的hdfs源码跟踪之打开输入流总结

1 weekend110的hdfs源码跟踪之打开输入流 + hdfs源码跟踪之打开输入流总结的更多相关文章
- Hadoop源码分析之客户端向HDFS写数据
转自:http://www.tuicool.com/articles/neUrmu 在上一篇博文中分析了客户端从HDFS读取数据的过程,下面来看看客户端是怎么样向HDFS写数据的,下面的代码将本地文件 ...
- [Spark内核] 第32课:Spark Worker原理和源码剖析解密:Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等
本課主題 Spark Worker 原理 Worker 启动 Driver 源码鉴赏 Worker 启动 Executor 源码鉴赏 Worker 与 Master 的交互关系 [引言部份:你希望读者 ...
- Hadoop 修改源码以及将修改后的源码应用到部署好的Hadoop中
我的Hadoop版本是hadoop-2.7.3, 我们可以去hadoop官网下载源码hadoop-2.7.3-src,以及编译好的工程文件hadoop-2.7.3, 后者可以直接部署. 前者hadoo ...
- div使用jqueryui 源码 | gridview多个功能的源码
div使用jqueryui 源码 | gridview多个功能的源码 一.gridview 选中行 改变颜色,双击选中 改变颜色 protected void gv1_SelectedIndexCha ...
- 编译哈工大语言技术平台云LTP(C++)源码及LTP4J(Java)源码
转自:编译哈工大语言技术平台云LTP(C++)源码及LTP4J(Java)源码 JDK:java version “1.8.0_31”Java(TM) SE Runtime Environment ( ...
- 【流媒体开发】VLC Media Player - Android 平台源码编译 与 二次开发详解 (提供详细800M下载好的编译源码及eclipse可调试播放器源码下载)
作者 : 韩曙亮 博客地址 : http://blog.csdn.net/shulianghan/article/details/42707293 转载请注明出处 : http://blog.csd ...
- 【安卓本卓】Android系统源码篇之(一)源码获取、源码目录结构及源码阅读工具简介
前言 古人常说,“熟读唐诗三百首,不会作诗也会吟”,说明了大量阅读诗歌名篇对学习作诗有非常大的帮助.做开发也一样,Android源码是全世界最优秀的Android工程师编写的代码,也是A ...
- Zookeeper 源码(三)Zookeeper 客户端源码
Zookeeper 源码(三)Zookeeper 客户端源码 Zookeeper 客户端主要有以下几个重要的组件.客户端会话创建可以分为三个阶段:一是初始化阶段.二是会话创建阶段.三是响应处理阶段. ...
- Tomcat源码分析一:编译Tomcat源码
Tomcat源码分析一:编译Tomcat源码 1 内容介绍 在之前的<Servlet与Tomcat运行示例>一文中,给大家带来如何在Tomcat中部署Servlet应用的相关步骤,本文将就 ...
- Android源码分析(十一)-----Android源码中如何引用aar文件
一:aar文件如何引用 系统Settings中引用bidehelper-1.1.12.aar 文件为例 源码地址:packages/apps/Settings/Android.mk LOCAL_PAT ...
随机推荐
- linux压缩与解压缩 tar命令
#压缩tar -czvf ***.tar.gz filetar -cjvf ***.tar.bz2 file#解压缩tar -xzvf ***.tar.gz filetar -xjvf ***.ta ...
- task_struct
Linux中task_struct用来控制管理进程,结构如下: struct task_struct { //说明了该进程是否可以执行,还是可中断等信息 volatile long state; ...
- xe6+firedac连接sybase
一.Win7 X64系统安装sybase odbc: 1. 下载对应包至c:\system_odbc(文件夹名自己取,在后面注册表内容需要用到): 2. 将值信息写入到注册表内: Windows ...
- POJ 1860 Currency Exchange 毫无优化的bellman_ford跑了16Ms,spfa老是WA。。
题目链接: http://poj.org/problem?id=1860 找正环,找最长路,水题,WA了两天了.. #include <stdio.h> #include <stri ...
- iOS - 应用程序国际化
开发的移动应用更希望获取更多用户,走向世界,这就需要应用国际化,国际化其实就是多语言.这篇文章介绍Xcode4.5以后的国际化,包括应用名国际化和应用内容国际化.如果是Xcode4.5之前版本请参考. ...
- redis入门教程
21) Redis 简介Redis 是一个开源的使用 ANSI C 语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value 数据库.2) 数据类型2.1. Redis 的 KeyRedi ...
- BZOJ 3707: 圈地 计算几何
Description 2维平面上有n个木桩,黄学长有一次圈地的机会并得到圈到的土地,为了体现他的高风亮节,他要使他圈到的土地面积尽量小.圈地需要圈一个至少3个点的多边形,多边形的顶点就是一个木桩,圈 ...
- php 文件上传 以及保存在本地的乱码问题处理
要知道两点: ①浏览器传到PHP程序中是UTF-8编码 ②PHP程序保存上传的文件,要转换成GBK编码才保存在本地中,否则如果直接使用浏览器传过来的文件名保存在本地,会出现文件名乱码. <?ph ...
- zookeeper如何永久监听
转自:http://www.cnblogs.com/viviman/archive/2013/03/11/2954118.html 一 回调基础知识 znode 可以被监控,包括这个目录节点中存储的数 ...
- CRC算法及C实现
一.CRC算法原理 CRC校验的基本思想是利用线性编码理论,在发送端根据要传送的k位二进制码序列,以一定的规则产生一个校 验用的监督码(既CRC码)r位,并附在信息后边,构成一个新的二进制码序列数 ...