Linux -- 文件统计常用命令

标签（空格分隔）： Linux

---

sort -- 文件内排序命令

sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次比较其ASCII码。

• 按每行升序排序：
• sort seq.txt
• 在输出行中去除重复行：
• sort -u seq.txt
• 输出行按降序排序：
• sort -r seq.txt
• 将输出结果重定向写入新的文件：
• sort seq.txt > seq1.txt
• 将输出结果重定向写入原来文件：
• sort seq.txt -o seq.txt
• 输出结果以数值而非ASCII码排序：
• sort -n seq.txt
• 按照指定列排序：
• sort -t ':' -k 2, 2nb seq.txt
• -t指定分隔符，-k指定按照哪一列排序

• 如果分隔符为制表符，则使用 -t $'\t'

• 稳定排序：
• sort -s seq.txt
• 合并多个有序文件
• sort -m seq.txt seq1.txt

uniq

对于连续重复出现的行，只会打印第一行，而不会打印其他重复行。与sort连用。

• 一般用法：
• uniq seq.txt
• 打印出每行重复出现的次数：
• uniq -c seq.txt
• 打印出出现多次（大于1次）的行：
• uniq -d seq.txt
• 打印不存在重复行的行：
• uniq -u seq.txt
• 忽略掉前n个域：(忽略掉前n个域，将第(n+1)以及之后的域当做关键字)
• uniq -f n seq.txt
• 忽略掉前n个字符：
• uniq -s n seq.txt
• 忽略掉前n个域和前m个字符：
• uniq -f n -s m seq.txt
• d最多比较n个字符：
• uniq -w n seq.txt

cut

cut命令用于打印出一个文件中指定的某几个域，或某几个字符，或某几个字节。

按字节打印

• 打印每行的第n个字节：
• cut -b n seq.txt
• 打印每行的第1-n这个范围的字节：
• cut -b -n seq.txt
• 打印每行的第n-最后范围的字节：
• cut -b n- seq.txt
• 打印每行的第m-n这个范围的字节：
• cut -b m-n seq.txt
• 打印多个范围的字节：
• cut -b m-n,t-s seq.txt

按字符打印

• 打印每行的第n个字符：
• cut -c n seq.txt
  剩下的情况如按字节打印。

按域打印

cut 命令默认以制表符为一个分隔符。如果要自定义分隔符，用-d指定。cut -d '分隔符'

• 打印每行的第n个域：
• cut -d '分隔符' -f n seq.txt

paste

paste命令用来将多个文件中的内容并列打印，或横排打印。每行有多个域，每个域对应一个文件中相应行的内容。任意两个域之间默认用一个制表符隔开。如果某一行中，某个文件没有内容，则相应域为一个空串。

• 一般语法：
• paste filename1 filename2 filename3
• 指定分隔符:
• paste -d '分割符' filename1 filename2 filename3
• 横排打印：(先打印完一个文件中的所有行到一行中，再打印另外一个文件中的所有行到下一行)
• paste -s -d '分隔符' filename1 filename2 filename3

split

split命令用来将一个文件按字节或者按行分割成多个小文件。

• 按字节分割成多个文件：
• split -b m -a p -d --additional-suffix='额外的后缀字符串' filename output
• -b指定字节数，可以带单位，如K, M, G, T, P, E, Z, Y;
• -a指定分割成的子文件的文件名的后缀长度。默认情况下后缀为[a-z]的字符串。
• -d指定后缀名为数字字符串，比如长度为2的数字字符串后缀为00，01，02...
• -additional-suffix指定额外的字符串；
• output 为所分割成的子文件的文件名的前缀。
• 按行数分割成多个文件：
• split -l m -a p -d --additional-suffix='额外的字符串' filename output
• 如：aplit -l 2 -a 2 seq.txt output

cat

将多个文件连接在一起并打印。一个文件连接到前一个文件的尾部。

• 一般语法：
• cat filename1 filename2 filename3
• 显示行号：
• cat -n filename1 filename2 filename3

join

• 左连接：
• join -a 1 -t '分隔符' -1 m -2 n filename1 filename2
• -a指定文件编号（只能为1或者2）。命令行中第一个文件的编号为1，第二个文件的编号为2.
• 如果不指定，则表示进行内连接。只会打印出匹配并合并后的行；
• 如果指定为1，则表示进行左连接；
• 如果指定为2，则表示进行右连接。
• 如果既指定为1，又指定为2，则表示进行全连接。除了会打印出两个文件中匹配并合并后的行外，还会打印出第一个文件和第二个文件中不匹配的行。
• -1是参数，用于指定需要进行匹配的第一个文件中的域的编号；
• -2是参数，用于指定需要进行匹配的第二个文件中的域的编号。
• 在打印合并后的内容的过程中，会先打印匹配的域，然后分别打印第一个文件和第二个文件中的剩余部分
• 右连接：
• join -a 2 -t ':' -1 1 -2 1 seq.txt seq1.txt
• 全连接：
• join -a 1 -a 2 -t ':' -1 1 -2 1 seq.txt seq1.txt
• 内连接：
• join -1 1 -2 1 seq.txt seq1.txt