hadoop之HDFS运行小观察
hadoop 是当前很火的一个 大数据运行框架和平台, 对于这个神奇的大家伙我甚是搞不清楚,前段时间闲来无视便把 HADOOP 运行起来, 看着它的操作记录存储部分(操作日志), IMAGE 记录着平台所有的文件操作记录,比如 创建文件,删除文件,改名 等等, 以下是我的一些小观察。
格式化----初始化

这是 fsimage 最初的样子,因为只是将磁盘格式化,并没有任何操作。一个序号为0 的IMAGE , md5校验文件, 版本号文件。
格式化后开启集群

无任何操作---1小时后

可以看到 IMAGE 个数增加, 序号也在增加, 当然这段时间里面并没有什么任何操作。
经过一定操作后, 可以看到下两图:IMAGE 数量迅速增加,序号也在增加,
edits 文件记录的是操作记录, 随时间增加,序号增加。
edits_inprogress 是正在进行记录的文件。
fsimage 是经过校验,在某个时间点之前的记录全部存盘的文件, 这里面可以看到是分别做了两个存储,是两个最后的临近时间点。


hadoop之HDFS运行小观察的更多相关文章
- Hadoop基础-Hdfs各个组件的运行原理介绍
		
Hadoop基础-Hdfs各个组件的运行原理介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.NameNode工作原理(默认端口号:50070) 1>.什么是NameN ...
 - Hadoop之HDFS及NameNode单点故障解决方案
		
Hadoop之HDFS 版权声明:本文为yunshuxueyuan原创文章.如需转载请标明出处: http://www.cnblogs.com/sxt-zkys/QQ技术交流群:299142667 H ...
 - 大数据技术之Hadoop(HDFS)
		
第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小(面试重点) 第2章 HDFS的Shell操作(开发重点) 1.基本语 ...
 - Ubuntu13.04 Eclipse下编译安装Hadoop插件及使用小例
		
Ubuntu13.04 Eclipse下编译安装Hadoop插件及使用小例 一.在Eclipse下编译安装Hadoop插件 Hadoop的Eclipse插件现在已经没有二进制版直接提供,只能自己编译. ...
 - 深入理解Hadoop之HDFS架构
		
Hadoop分布式文件系统(HDFS)是一种分布式文件系统.它与现有的分布式文件系统有许多相似之处.但是,与其他分布式文件系统的差异是值得我们注意的: HDFS具有高度容错能力,旨在部署在低成本硬件上 ...
 - hadoop之HDFS学习笔记(一)
		
主要内容:hdfs的整体运行机制,DATANODE存储文件块的观察,hdfs集群的搭建与配置,hdfs命令行客户端常见命令:业务系统中日志生成机制,HDFS的java客户端api基本使用. 1.什么是 ...
 - hadoop之hdfs及其工作原理
		
hadoop之hdfs及其工作原理 (一)hdfs产生的背景 随着数据量的不断增大和增长速度的不断加快,一台机器上已经容纳不下,因此就需要放到更多的机器中,但这样做不方便维护和管理,因此需要一种文件系 ...
 - Hadoop 学习 HDFS
		
1.HDFS的设计 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网 ...
 - 深入理解hadoop之HDFS
		
深入理解hadoop之HDFS 刚刚才写完关于mapreduce的一篇博文,趁热打铁接下来聊聊HDFS.本博文参考资料为HADOOP权威指南第3版完版,博文如有错漏之处,敬请指正. HDFS即Hado ...
 
随机推荐
- 移动端视频h5表现问题汇总
			
1. 同屏播放视频 <video src="" x-webkit-airplay="true" webkit-playsinline="true ...
 - C# 通过Newtonsoft.Json.dll序列化日期的处理
			
Newtonsoft.Json.dll提供了非常好的Json序列化和反序列化方式,但是对日期的处理却让我纠结了很久.首先定义类如下: public class Student{ public int ...
 - c# 获取方法所在的命名空间 类名 方法名
			
平时我们在记录日志的时候难免会需要直接记录当前方法的路径,以便查找,但是每次都输入方法名称非常的繁琐,同时如果修改了方法名称也要去手动修改日志内容,真的是劳命伤财啊,所以有了如下方法则可解决我们的大难 ...
 - JDK1.7 新特性
			
1:switch中可以使用字串 String s = "test"; switch (s) { case "test" : System. ...
 - CAS操作原理分析
			
一.CAS简单介绍 CAS:Compare and Swap, 翻译成比较并交换. java.util.concurrent包中借助CAS实现了区别于synchronouse同步锁 ...
 - 20170727xlVBA根据总名单和模板生成多页名单
			
Sub CountingDown() Dim Dic As Object '用于分类统计 Dim i As Long Dim CountDown As Long '每页最多几条信息 Dim x As ...
 - Confluence 6 LDAP 成员结构设置
			
用户组成员属性(Group Members Attribute) 这个属性字段将在载入用户组成员的时候使用.例如: member 用户成员属性(User Membership Attribute) 这 ...
 - synchronized同步代码块锁释放
			
今天发现自己写的线上程序出现数据库不能同步的问题,查看日志已经停止记录,随后使用jstack查看线程的运行状况,发现有个同步线程锁住了. 以下是jstack -l 637 问题线程的内容. &quo ...
 - Visio 入门教程
			
最近做一个新项目,目前在需求确立阶段,所以每天任务是写文档讨论再修改.由于是云端架构设计,避免不了图形图表配合文字说明,需要制作 E-R 图.网络图.时序图.UML 类图等,对比其他可视化图表工具,V ...
 - JDBC连接SqlServer数据库(非默认实例)方法
			
一般我们在连接数据库的时候都是用的默认实例名,今天遇到了用非默认是实例名:连接代码如下(Java): URL=jdbc:microsoft:sqlserver://192.168.1.85//DEMO ...