uniq

-c, --count 在每行前加上表示相应行目出现次数的前缀编号
-d, --repeated 只输出重复的行
-D, --all-repeated[=delimit-method 显示所有重复的行
delimit-method={none(default),prepend,separate}
以空行为界限
-f, --skip-fields=N 比较时跳过前N 列
-i, --ignore-case 在比较的时候不区分大小写
-s, --skip-chars=N 比较时跳过前N 个字符
-u, --unique 只显示唯一的行
-z, --zero-terminated 使用'\0'作为行结束符，而不是新换行
-w, --check-chars=N 对每行第N 个字符以后的内容不作对照
--help 显示此帮助信息并退出
--version 显示版本信息并退出

若域中为先空字符(通常包括空格以及制表符)，然后非空字符，域中字符前的空字符将被跳过。

aaaaaaaaaa
aaaaaaaaaa
aaaaaaaaaa
bbbbbbb
bbbbbbbbb
bbbbbbbbbbb
cccccc
cccccccccc
cccccccccccc
cccccc
ddddddddddddd
ddddddddddddd
aaaaaaaaaa
aaaaaaaaaa

uniq -c 1.txt显示每行重复出现的次数

3 aaaaaaaaaa
1 bbbbbbb
1 bbbbbbbbb
1 bbbbbbbbbbb
1 cccccc
1 cccccccccc
1 cccccccccccc
1 cccccc
2 ddddddddddddd
2 aaaaaaaaaa

uniq -cd 1.txt只显示连续重复出现的行(并且只显示一次,于-D相反),加上-c为了显示次数

3 aaaaaaaaaa
2 ddddddddddddd
2 aaaaaaaaaa

uniq -D 1.txt 只显示连续重复出现的行(每个连续重复出现的行都会显示出来),不能于-c连用

aaaaaaaaaa
aaaaaaaaaa
aaaaaaaaaa
ddddddddddddd
ddddddddddddd
aaaaaaaaaa
aaaaaaaaaa

uniq -u 1.txt 只显示唯一出现的行

bbbbbbb
bbbbbbbbb
bbbbbbbbbbb
cccccc
cccccccccc
cccccccccccc
cccccc

uniq 1.txt 将每行都显示出来(会将这些行中连续重复出现的行只显示一次)

aaaaaaaaaa
bbbbbbb
bbbbbbbbb
bbbbbbbbbbb
cccccc
cccccccccc
cccccccccccc
cccccc
ddddddddddddd
aaaaaaaaaa