uniq 去除重复行

1.命令功能

uniq可以输出或忽略文件中的重复行，经常需要使用sort先对文件进行排序，然后使用uniq去重并计数。

2.语法格式

uniq  option  input

uniq   选项    文件或标准输入

参数	参数说明
-c	去除重复行，并计算每行出现的次数
-d	只打印重复行
-u	只显示唯一的行

3.使用范例

[root@localhost ~]# cat test.txt

abcd

abcd

abcd

123456

123456

456

789

范例1 去除重复行

[root@localhost ~]# uniq test.txt

abcd

123456

456

789

范例2  去除重复行，计算每行出现的次数

[root@localhost ~]# uniq -c test.txt

      3 abcd

      2 123456

      1 456

      1 789

范例3 只打印重复行

[root@localhost ~]# uniq -d test.txt

abcd

123456

范例4 结合sort，去重

[root@localhost ~]# sort test.txt |uniq –c  <—按照数字大小排序，再去重

      2 123456

      1 456

      1 789

      3 abcd