【shell】数据文件分割

有时候我们必须把数据文件分割为更小的文件，这样方便我们邮件发送或者查看文件内容。split命令则可以用来分割文件。

一、根据大小来分割文件

---

1.一般分割

例如：现在有文件tmp.log,大小为：3680k,我们以1000k为单位分割该文件，在split命令中，除了k(KB)，我们还可以使用M(MB)、G(GB)、c(byte)、w(word)

Linux:/qinys/data # split -b 1000k tmp.log

2.分割时指定后缀

在分割时，默认使用字母后缀，我们可以给文件名指定数字后缀，使用-d选项，此外，-a length可以指定后缀长度：

Linux:/qinys/data # split -b 1000k tmp.log -d -a 2

3.分割时候指定前缀

我们分割文件的时候为了区分那些是原始文件，哪些是分割后的文件，我们使用前缀来区分,以下在分割后的文件名之前添加fg_

Linux:/qinys/data # split -b 1000k tmp.log -d -a 2 fg_

二、根据行数来分割

---

现在存在数据文件tmp.log,数据总记录数为：31346

以下是根据文件记录数来拆分文件，以10000条记录为单位进行拆分

Linux:/qinys/data # split -l 10000 tmp.log -d -a 2 row_

三、根据内容拆分

---

现在存在文件tmp1.log，文件内容如下所示：

我们现在想把每个ping的结果分别存储到各个文件，以便查看；

命令如下：

Linux:/qinys/data # csplit tmp1.log /ping/ -n 2 -s {*} -f ping -b "%02d.log"

执行结果如下：

命令解释：

• /ping/ 用来匹配特定的行，分割从此处开始；它从当前行(第一行)一直复制到(但不包括)包含ping的行
• {*} 表示匹配重复执行分割操作，直到文件末尾为止。可以使用{整数}的形式来指定分割的次数
• -s 是命令进入静默模式，不打印其他信息
• -n 指定分割后的文件名的数字个数，例如：01,02,03等
• -f 指定分割后的文件名前缀
• -b 指定后缀格式，%02d.log表示长度为2位，不足的使用0代替。例如：01,02,03等；可以参照c语言printf参数格式

四、分割带有扩展名的文件

---

上述我们已经将大文件分隔为多个文件存在，但是分割后的文件都没有扩展名，以下是按照在分隔文件后添加扩展名

现在存在数据文件CUST_INFO.dat（大小为：112M）

我们使用如下命令进行分割

split -b 30m CUST_INFO.dat -d -a 2 file_&&ls|grep file_|xargs -n1 -i{} mv {} {}.txt

命令解释：

split -b 30m CUST_INFO.dat -d -a 2 file_&&ls 将文件以30M大小进行分割，并且前缀为file_;

xargs -n1 -i{} mv {} {}.txt 将生成的文件重命名为扩展名为txt的

分割后结果如下：