uniq详解

一.简介

　　报告或删除文件中重复的行。
　　uniq 命令读取由 InFile 参数指定的标准输入或文件。该命令首先比较相邻的行，然后除去第二行和该行的后续副本。重复的行一定相邻。（在发出 uniq 命令之前，请使用 sort 命令使所有重复行相邻。）最后，uniq 命令将最终单独的行写入标准输出或由 OutFile 参数指定的文件。InFile 和 OutFile 参数必须指定不同的文件。如果输入文件用“- ”表示，则从标准输入读取；输入文件必须是文本文件。文本文件是包含组织在一行或多行中的字符的文件。这些行的长度不能超出 2048 个字节（包含所有换行字符），并且其中不能包含空字符。

二.语法

uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]

缺省情况下，uniq 命令比较所有行。如果指定了-f Fields 或 -Fields 标志, uniq 命令忽略由 Fields 变量指定的字段数目。 field 是一个字符串，用一个或多个 <空格 > 字符将它与其它字符串分隔开。
如果指定了 -s Characters 或 +Characters 标志, uniq 命令忽略由 Characters 变量指定的字符数目。为 Fields 和 Characters 变量指定的值必须是正的十进制整数。
当前本地语言环境决定了 -f 标志使用的 <空白> 字符以及 -s 标志如何将字节解释成字符。
如果执行成功，uniq 命令退出，返回值 0。否则，命令退出返回值大于 0。
标志
-c 在输出行前面加上每行在输入文件中出现的次数。它可取代- u和- d选项。
-d 仅显示重复行。
-u 仅显示不重复的行。
-i 忽略大小写。

-f Fields 忽略前Fields个字段。如果 Fields 变量的值超过输入行中的字段数目, uniq 命令用空字符串进行比较。这个标志和 -Fields 标志是等价的。
-Fields 忽略由 Fields 变量指定的字段数目。这个标志和 -f Fields 标志是等价的。

-s Characters 忽略前 Characters个字符。如果 Characters 变量的值超过输入行中的字符的数目, uniq 用空字符串进行比较。如果同时指定 -f 和 -s 标志, uniq 命令忽略由 -s Characters 标志指定的字符的数目，而从由 -f Fields 标志指定的字段后开始。 这个标志和 +Characters 标志是等价的。
+Characters 忽略前 Characters个字符。这个标志和 -s Characters 标志是等价的。

- n 前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开（字段从0开始编号）。
+ n 前n个字符被忽略，之前的字符被跳过（字符从0开始编号）。

- f n 与- n相同，这里n是字段数。
- s n 与＋n相同，这里n是字符数。

三. 简例

13 eA
24 eC
31 cC
31 cC
32 cC
42 bE
55 aF

• 全行匹配去重
$ uniq test.txt
13 eA
24 eC
31 cC
32 cC
42 bE
55 aF
• 统计重复行数
$ uniq -c test.txt
1 13 eA
1 24 eC
2 31 cC
1 32 cC
1 42 bE
1 55 aF

• 跳过前两个字符
$ uniq -s 2 test.txt
13 eA
24 eC
31 cC
42 bE
55 aF

• 从第二个字段开始去重
$ uniq -f 1 test.txt
13 eA
24 eC
31 cC
42 bE
55 aF