ext4文件系统特性浅析
ext4作为Linux下的文件系统因其简单性、易管理性、兼容性强等特定,深受大多数用户喜欢,并且作为大多数Linux发行版中的默认文件系统。但是随着现在文件数目的增多以及文件数据的增大,ext4文件系统显得力不从心, 虽然ext4添加了很多的新的特性, 比如extent、bigalloc等,但是比不上XFS等文件系统,目前RedHat中的默认文件系统更改为了XFS,XFS在目前大数据环境下表现性能优于ext4,原始的XFS是针对于高端计算机用户,当然其他优秀的文件系统Btrfs、ZFS正在不断开发和完善中。
在当前情况下,ext还是主流文件系统,下面介绍ext4文件系统特性。
1、ext4文件系统磁盘布局(disk layout)flex_group特性
原始的ext4文件系统的布局如下:
+++++++++++++++++++++++++++ +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
| sb | block group table | block bitmap | inode bitmap | inode table | data blocks |
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|<==================== group =====================>| +++++++++++++++++++++++++++ +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
| sb | block group table | block bitmap | inode bitmap | inode table | data blocks |
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|<==================== group (sb和块组描述符备份) =====================>|
其中上述的block bitmap 和inode bitmap开始的block位置为该组的block的开始位置之上增加。
下面是一个具体格式化后的原始的ext4的文件系统磁盘格式布局数据:
Group : (Blocks -)
Primary superblock at , Group descriptors at -
Reserved GDT blocks at -
Block bitmap at (+), Inode bitmap at (+)
Inode table at - (+)
free blocks, free inodes, directories
Free blocks: -
Free inodes: -
Group : (Blocks -)
Backup superblock at , Group descriptors at -
Reserved GDT blocks at -
Block bitmap at (+), Inode bitmap at (+)
Inode table at - (+)
free blocks, free inodes, directories
Free blocks: -
Free inodes: -
Group : (Blocks -)
Block bitmap at (+), Inode bitmap at (+)
Inode table at - (+)
free blocks, free inodes, directories
Free blocks: -
Free inodes: -
Group : (Blocks -)
Backup superblock at , Group descriptors at -
Reserved GDT blocks at -
Block bitmap at (+), Inode bitmap at (+)
Inode table at - (+)
free blocks, free inodes, directories
Free blocks: -
Free inodes: -
现在ext4引入了flex_group 特性, 也即是把多个块组合并,他们的inode bitmap和block bitmap、 inode table都放在第一个flex_group中的第一个group中,格式化后的数据如下:
Group : (Blocks -) [ITABLE_ZEROED]
Checksum 0xa9e7, unused inodes
Primary superblock at , Group descriptors at -
Reserved GDT blocks at -
Block bitmap at (+), Inode bitmap at (+)
Inode table at - (+)
free blocks, free inodes, directories, unused inodes
Free blocks: -
Free inodes: -
Group : (Blocks -) [INODE_UNINIT, ITABLE_ZEROED]
Checksum 0xd93e, unused inodes
Backup superblock at , Group descriptors at -
Reserved GDT blocks at -
Block bitmap at , Inode bitmap at
Inode table at -
free blocks, free inodes, directories, unused inodes
Free blocks: -
Free inodes: -
Group : (Blocks -) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
Checksum 0xcde2, unused inodes
Block bitmap at , Inode bitmap at
Inode table at -
free blocks, free inodes, directories, unused inodes
Free blocks: -
Free inodes: -
Group : (Blocks -) [INODE_UNINIT, ITABLE_ZEROED]
Checksum 0xafe0, unused inodes
Backup superblock at , Group descriptors at -
Reserved GDT blocks at -
Block bitmap at , Inode bitmap at
Inode table at -
free blocks, free inodes, directories, unused inodes
Free blocks: -
Free inodes: -
引入flex_group特性的作用是为了支持更大的文件, 这样有利于大文件的数据块的分配,结合extent特性。
2、Bigalloc特性
传统的ext4分配的最大的单位只能为4KB,块大小控制在4KB~512B之间,具体块大小在格式化的时候确定。因为Linux内存管理的限制, ext4文件系统不能处理大于4KB的文件系统块。但是对于一个文件系统中大部分文件都是大文件的情况,希望能够同时处理多个文件系统Block,减少文件系统中用于管理Block的开销。ext4中的新添加的特性Bigalloc特性可以很好的满足这个条件,在Bigalloc中,文件系统管理的单位叫做cluster,每个cluster是由原来的多个block组成,在原来的block bitmap中管理的大小由block变成cluster。
当然这个特性在小文件很多的情况下容易造成磁盘碎片很多,最后性能会骤然下降
3、Extent特性
在原来的ext4文件系统中进行逻辑块到物理块的转换采用的是inode中的blocks数组进行转换。在这种情况下,对于小文件,比如小于40KB(假设文件系统块大小为4KB)的文件,采用的是直接映射,这时ext4系统可以很快的处理,因为进行磁盘的IO次数变为两次(一次为读取文件inode,另外一次为读取对应的数据Block);但当读取的文件的大小超过40KB时,这时需要采用间接块的处理,这时进行文件读取操作需要多次磁盘IO,因此在大文件,尤其是几个G以上的文件下ext4文件读取性能会下降很多。而且针对于文件的truncate操作和文件的删除操作,对于大文件而言需要进行的磁盘IO次数也明显增加,整个文件系统性能下降很多。
采用extent的特性,可以有效的减少对于文件块映射的开销。ext4中的管理extent的重要的数据结构如下:
/*
* Each block (leaves and indexes), even inode-stored has header.
*/
struct ext4_extent_header {
__le16 eh_magic; /* probably will support different formats */
__le16 eh_entries; /* number of valid entries */
__le16 eh_max; /* capacity of store in entries */
__le16 eh_depth; /* has tree real underlying blocks? */
__le32 eh_generation; /* generation of the tree */
};
/*
* This is index on-disk structure.
* It's used at all the levels except the bottom.
*/
struct ext4_extent_idx {
__le32 ei_block; /* index covers logical blocks from 'block' */
__le32 ei_leaf_lo; /* pointer to the physical block of the next *
* level. leaf or next index could be there */
__le16 ei_leaf_hi; /* high 16 bits of physical block */
__u16 ei_unused;
};
/*
* This is the extent on-disk structure.
* It's used at the bottom of the tree.
*/
struct ext4_extent {
__le32 ee_block; /* first logical block extent covers */
__le16 ee_len; /* number of blocks covered by extent */
__le16 ee_start_hi; /* high 16 bits of physical block */
__le32 ee_start_lo; /* low 32 bits of physical block */
};
如上述中的extent的数据结构描述,一个大的数据块只需要一个起始块,再加上一个长度,开销很小。而且对于删除而言,可以很快的删除。在ext4中整个extent的管理采用extent tree的方式,extent tree是采用B+-tree管理。
4、Inline data特性
内联数据的特性,可以有效的减少磁盘次数,对于小文件的处理可以提高很大的性能。原始的ext4文件所有数据采用的都是blocks的map方式在逻辑块和物理块之间的转换,采用extent的方式进行处理对于小文件会造成很大的磁盘碎片,影响ext4整体的文件系统性能,这些小文件为包括字节数为几十个字节。
采用inline data的方式, 文件的数据放在inode的后面,此时的inode为扩的inode,需要进行扩大处理。
参考资料:
[1] Ext4 disk layout. https://ext4.wiki.kernel.org/index.php/Ext4_Disk_Layout#Inline_Data
[2] Ext4 (and Ext2/Ext3) Wiki. https://ext4.wiki.kernel.org/index.php/Main_Page
ext4文件系统特性浅析的更多相关文章
- ext4文件系统的delalloc选项造成单次写延迟增加的分析
最近我们的服务进程遇到kill -15后处于Z的状态,变为了僵尸进程,经过/proc/{thread_id}/stack查看其上线程的栈,发现是卡在了fwrite的过程中,而我们的系统中所有文件系统挂 ...
- Ext4文件系统架构分析(二)
接着上一篇博文,继续分析Ext4磁盘布局中的元数据. 1.7 超级块 超级块记录整个文件系统的大量信息,如数据块个数.inode个数.支持的特性.管理信息,等待. 如果设置sparse_super特性 ...
- Ext4文件系统架构分析(一)
本文描述Ext4文件系统磁盘布局和元数据的一些分析,同样适用于Ext3和Ext2文件系统,除了它们不支持的Ext4的特性外.整个分析分两篇博文,分别概述布局和详细介绍各个布局的数据结构及组织寻址方式等 ...
- Ext4文件系统架构分析(三)
ioctl源码分析之交换两个文件的物理extents 1. 交换两个文件的extents Ext4 的EXT4_IOC_MOVE_EXT命令用于交换两个文件的extents,实际上是交换两个文件的对应 ...
- [转载]ext4文件系统的delalloc选项造成单次写延迟增加的分析
转载http://www.cnblogs.com/cobbliu/p/5603472.html 最近我们的服务进程遇到kill -15后处于Z的状态,变为了僵尸进程,经过/proc/{thread_i ...
- linux操作系统故障处理-ext4文件系统超级块损坏修复
linux操作系统故障处理-ext4文件系统超级块损坏修复 背景 前天外面出差大数据测试环境平台有7台服务器挂了,同事重启好了五台服务器,但是还有两台服务器启动不起来,第二天回来后我和同事再次去机 ...
- 恢复ext4文件系统superblock
恢复ext4文件系统superblock 1. Create ext4 文件系统. [root@localhost ~]# mkfs.ext4 /dev/vdb1 [root@localhost ~] ...
- 使用hexdump工具追踪EXT4文件系统中的一个文件
昨天追踪EXT4文件系统的过程中出了点问题,就是找不到文件,于是试了一下追踪FAT32文件系统的,成功之后有了点信心,今天继续嗑EXT4文件系统,终于找到啦,记录一下. 操作系统:linux(cent ...
- CentOS中对ext4文件系统做磁盘配额
1.修改/etc/fstab文件,使ext4文件系统支持磁盘配额. UUID="9e6dc1e8-4fc1-4984-be38-524573572d41" /mnt/ext ext ...
随机推荐
- CSS(二)选择符
2019-04-11 22:14:23 1.类型选择符(标签选择符) html中所有的标签都可以直接对元素选择 p em i a html body..... 特点:对页面中所有当前类型的元 ...
- 理解webpack4.splitChunks
一.前言 之前一直也没有研究过webpack4是基于怎样的规则去拆分模块的,现在正好有时间打算好好了解一下,看了官方文档也陆陆续续的看了看网上别人写的文章,感觉大部分都是将官方文档翻译了一遍,很多问题 ...
- 弧形菜单2(动画渐入)Kotlin开发(附带java源码)
弧形菜单2(动画渐入+Kotlin开发) 前言:基于AndroidStudio的采用Kotlin语言开发的动画渐入的弧形菜单...... 效果: 开发环境:AndroidStudio2.2.1+gra ...
- Android适配--百分比的适配
首先,需要添加com.android.support:percent:24.1.1 包,版本随意. dependencies { compile fileTree(dir: 'libs', inclu ...
- QTreeView/QTableView中利用QStandardItem实现复选框三种形态变化
https://www.techieliang.com/2017/12/729/ 原文地址 using_checkbox_item.h /** * @file using_checkbox_item. ...
- error:将字符串转换为 uniqueidentifier 时失败
sql server查询中出现 将字符串转换为 uniqueidentifier 时失败异常 原因为id设置为uniqueidentifier 字段,在where查询时需要做转换cast(id as ...
- Hadoop配置文件详解
1 获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知 ...
- 掷骰子游戏窗体实现--Java初级小项目
掷骰子 **多线程&&观察者模式 题目要求:<掷骰子>窗体小游戏,在该游戏中,玩家初始拥有1000的金钱,每次输入押大还是押小,以及下注金额,随机3个骰子的点数,如果3个骰 ...
- Java的MD5加密和解密
链接:http://www.cnblogs.com/android-blogs/p/5305598.html Java的MD5加密和解密 简单demo: import java.security.* ...
- 【SQL.基础构建-第三节(3/4)】
-- Tips:聚合和排序 -- 一.对表进行聚合查询 -- 1.聚合函数 -- (1)5 个常用函数: -- ①COUNT:计算表中的记录(行)数. -- ②SUM:计算表中数值列的 ...