一,fallocate的用途?

1,用途

我们有时需要用大文件来测试下载速度,

有时需要用大文件来覆盖磁盘空间,

如果在网上搜索,很多文章讲的是使用dd等工具,

事实上linux系统已经内置了生成大文件的工具,

fallocate

使用非常的方便

2,fallocate和truncate有所区别

fallocate:为文件预分配物理空间,不是生成空洞文件

而且fallocate分配的空间在磁盘的扇区上是连续的,

能减少后续写入和读取文件时的磁盘寻道的资源开销

truncate:生成的是空洞文件,并不占用实际的磁盘空间,

只是文件看上去逻辑大小比较大,

但实际占用的空间是0

本文中会举例子来说明

3,什么是空洞文件?

UNIX的文件操作,允许操作的偏移位置超过当前的文件长度,

这样中间留出的空间的字节会被设置为0,

这部分空间被称为空洞(hole)

linux系统上空洞不占用实际的硬盘空间

说明:刘宏缔的架构森林是一个专注架构的博客,地址:https://www.cnblogs.com/architectforest

对应的源码可以访问这里获取: https://github.com/liuhongdi/

说明:作者:刘宏缔 邮箱: 371125307@qq.com

二,查看fallocate命令所属的包?

[root@centos8 logs]# whereis fallocate
fallocate: /usr/bin/fallocate /usr/share/man/man1/fallocate.1.gz /usr/share/man/man2/fallocate.2.gz [root@centos8 logs]# rpm -qf /usr/bin/fallocate
util-linux-2.32.1-17.el8.x86_64

fallocate在centos8上默认已内置,

如果有误删此命令,可以用dnf安装

[root@centos8 logs]# dnf install util-linux

三,查看fallocate的版本和帮助

1,查看fallocate的版本

[root@centos8 logs]# fallocate --version
fallocate,来自 util-linux 2.32.1

2,查看fallocate的帮助

[root@centos8 logs]# fallocate --help
用法:
fallocate [选项] <文件名> 为文件预分配空间或从文件回收空间。 选项:
-c, --collapse-range 移除文件中的某个范围
-d, --dig-holes 检测零并替换为空洞
-i, --insert-range insert a hole at range, shifting existing data
-l, --length <数字> 范围操作的长度(字节数)
-n, --keep-size 保持文件的显示大小
-o, --offset <数字> 范围操作的偏移量(字节数)
-p, --punch-hole 将某个范围替换为空洞(连带打开 -n)
-z, --zero-range 清零并保证分配某个范围
-x, --posix use posix_fallocate(3) instead of fallocate(2)
-v, --verbose 详尽模式 -h, --help display this help
-V, --version display version 更多信息请参阅 fallocate(1)。

3,​查看fallocate的手册

[root@centos8 logs]# man fallocate

四,fallocate的使用例子:

1,按指定大小生成文件

#-l: length,指定文件的长度

[root@centos8 logs]# fallocate -l 50M /data/web/www/html/b.zip

查看文件的显示大小

#-h: human-readable,用人性化的方性显示结果

[root@centos8 html]# ll -h b.zip
-rw-r--r-- 1 root root 50M 5月 8 14:25 b.zip

查看文件占用磁盘空间的大小

[root@centos8 html]# du -sh b.zip
50M b.zip

说明:我们用du查看文件可以看到,

用fallocate生成的文件在磁盘上确实占用了50M的空间

而不是一个空洞文件

2,把前面创建的大文件中的零替换为空洞:

#-d:挖洞,仅替换为0的数据,使不再占用多余的磁盘空间

[root@centos8 html]# fallocate -d b.zip

查看占用磁盘空间的大小

[root@centos8 html]# du -sh b.zip
84K b.zip

查看文件显示大小

[root@centos8 html]# ll -h b.zip
-rw-r--r-- 1 root root 50M 5月 8 15:21 b.zip

逻辑大小还是50M,

但对磁盘的占用变成了84K

3,在文件上挖出指定大小的空洞

生成一个占用30M磁盘空间的文件

生成一个30M大小的文件

[root@centos8 html]# fallocate -l 30M c.zip
[root@centos8 html]# ll -h c.zip
-rw-r--r-- 1 root root 30M 5月 8 15:33 c.zip
[root@centos8 html]# du -sh c.zip
30M c.zip

du命令显示文件确实是30M大小

从偏移10M的位置挖一个10M大小的洞

应该还剩20M

#-p:挖洞,不管文件中是否有非0数据,会改变文件的内容

#-o:  偏移位置

#-l: 挖洞的大小

[root@centos8 html]# fallocate -p -o 10M -l 10M c.zip

查看文件显示大小

[root@centos8 html]# ll -h c.zip
-rw-r--r-- 1 root root 30M 5月 8 15:38 c.zip

查看文件占用磁盘空间的大小

[root@centos8 html]# du -sh c.zip
20M c.zip

五,看一个truncate的例子:

#-s: 指定文件大小

[root@centos8 logs]# truncate -s 100M ./trunc100

查看文件显示大小

[root@centos8 logs]# ll -h trunc100
-rw-r--r-- 1 root root 100M 5月 8 14:57 trunc100

查看文件占用磁盘空间的大小

[root@centos8 logs]# du -sh trunc100
0 trunc100

可见文件占用磁盘空间为0

用od把生成的文件打印出来,可以看到中间填充的是\0

#-c,  select printable characters or backslash escapes

#-c: 相当于 -t c ,表示输出可打印字符和转义字符

[root@centos8 logs]# od -c trunc100
0000000 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0
*
620000000

六,查看centos的版本

[root@centos8 logs]# cat /etc/redhat-release
CentOS Linux release 8.1.1911 (Core)

linux(centos8):用fallocate快速生成大文件的更多相关文章

  1. Linux使用dd命令快速生成大文件(转)

    dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件,文件内容为全0(因从/dev/zero ...

  2. linux使用dd命令快速生成大文件

    dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件,文件内容为全0(因从/dev/zero ...

  3. 使用dd命令快速生成大文件或者小文件的方法

    使用dd命令快速生成大文件或者小文件的方法     转载请说明出处:http://blog.csdn.net/cywosp/article/details/9674757     在程序的测试中有些场 ...

  4. 使用dd命令快速生成大文件或者小文件

    使用dd命令快速生成大文件或者小文件 需求场景: 在程序的测试中有些场景需要大量的小文件或者几个比较大的文件,而在我们的文件系统里一时无法找到那么多或者那么大的文件,此时linux的dd命令就能快速的 ...

  5. linux下fallocate快速创建大文件

    以前创建文件我一般用dd来创建,例如创建一个512M的文件: dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1 ...

  6. linux下使用split 来分割大文件

    linux下使用split 来分割大文件 2010-07-27 15:46:27|  分类: 技术文稿 |  标签:split  分割  linux   |字号 订阅   平常都是使用ssh来进行远程 ...

  7. PHP几个快速读取大文件例子

    PHP几个快速读取大文件例子 感谢 把我给崩了 的投递 时间:2014-10-16 来源:三联 在PHP中,对于文件的读取时,最快捷的方式莫过于使用一些诸如file.file_get_contents ...

  8. 利用Linux的硬连接删除MySQL大文件

    利用Linux的硬连接删除MySQL大文件 http://blog.csdn.net/wxliu1989/article/details/22895201 原理:硬链接基础当多个文件共同指向同一ino ...

  9. Java快速读取大文件

    Java快速读取大文件 最近公司服务器监控系统需要做一个东西来分析Java应用程序的日志. 第一步探索: 首先我想到的是使用RandomAccessFile,因为他可以很方便的去获取和设置文件指针,下 ...

随机推荐

  1. (超详细)动手编写 — 栈、队列 ( Java实现 )

    目录 前言 栈 概念 栈的设计 编码实现 小结 队列 概念 队列的设计 编码实现 双端队列 概念 设计 编码 循环队列 循环队列 循环双端队列 声明 前言 栈 概念 什么是栈? **栈 **:是一种特 ...

  2. ctfhub sql注入字符型

    手工注入 1, 检查是否存在注入 2.猜字段数.列数 3.获得注入点,数据库名称,数据库版本 4.获得表名 5.获得字段名 6.获得flag sqlmap方法 1.查数据库库名 2.查表名 3.查字段 ...

  3. 串(string)

    题目描述 给定一个由小写字母组成的字符串s,每次你可以删去它的一个非回文子串, 求删成空串的最小次数. 输入输出格式 输入格式: 第一行一个整数 t 表示数据组数. 每组数据第一行一个整数 n表示字符 ...

  4. CentOS 7安装SeaweedFS

    1.从GitHub下载编译好的SeaweedFS 地址:https://github.com/chrislusf/seaweedfs/releases 选择linux_amd64.tar.gz的压缩包 ...

  5. 腾讯云COS对象存储 Web 端直传实践(JAVA实现)

    使用 腾讯云COS对象存储做第三方存储云服务,把一些文件都放在上面,这里主要有三中实现方式:第一种就是在控制台去设置好,直接上传文件.第二种就是走服务端,上传文件,就是说,上传文件是从服务端去上传上去 ...

  6. 利用Python爬取疫情数据并使用可视化工具展示

    import requests, json from pyecharts.charts import Map, Page, Pie, Bar from pyecharts import options ...

  7. Apache Hudi和Presto的前世今生

    一篇由Apache Hudi PMC Bhavani Sudha Saktheeswaran和AWS Presto团队工程师Brandon Scheller分享Apache Hudi和Presto集成 ...

  8. svn提交代码出错

    今天提交代码的时候一直报错,下面是错误信息 Error: Commit failed (details follow):  Error: Commit blocked by pre-commit ho ...

  9. kali上密码工具使用例如mudusa,hydra等

    思路 各种密码类别大致数学原理 https://blog.csdn.net/carol980206/article/details/96705859 https://www.jianshu.com/p ...

  10. 微服务分布式电商项目学习笔记(三)---- docker介绍安装以及使用docker安装软件(2020/7/10)

    其实在介绍docker的使用和安装之前应该还要介绍虚拟机的安装与配置,以及虚拟网络的配置,但是我使用的是vmware,而视频课使用的是vagrant,这一块我简看的,因此没有过多的介绍,至于vmwar ...