本文只总结一些常用的用法,更详细的说明见man uniq和 uniq --help。

uniq命令

uniq命令主要用于去重。

需要注意的是,不相邻的行不算重复值。

语法格式

Usage: uniq [OPTION]... [INPUT [OUTPUT]]
OPTION 说明
-c 统计出现的次数
-d 只显示被计算为重复的行
-D 显示所有被计算为重复的行
-c 显示唯一值,即没有重复值的行
-i 忽略大小写
-z 在末尾使用\0,而不是换行符
-s 跳过多少个字符开始比较重复值
-f 跳过多少个字段(field)开始比较重复值
-w 比较重复值时每行比较的最大长度,即对每行多长的字符进行比较

实例

有以下ip地址:

183.204.149.137
82.190.251.242
183.204.151.206
183.196.249.224
125.119.187.50
125.118.108.202
114.68.82.26
183.204.149.90
183.204.149.90
125.119.185.164
125.119.185.164
183.196.249.224
125.119.185.164
183.156.95.175
183.156.95.175
183.196.249.224
183.156.93.246
183.156.95.175
183.156.95.175
183.156.93.246
183.156.95.175
183.156.95.175
114.68.82.26
183.156.95.175
125.120.25.172
183.156.93.246
183.156.95.175
183.156.95.175
183.156.93.246
114.68.82.26
114.68.82.26
114.68.82.26
114.68.82.26
114.68.82.26
114.68.82.26
114.68.82.26
183.156.95.190
125.119.187.63
114.68.82.26
125.119.187.63
125.119.187.63
125.119.187.63
125.119.185.214
114.68.82.29
114.68.82.26
114.68.82.29
114.68.82.27
114.68.82.26
183.196.253.128
114.68.82.26
114.68.82.27
114.68.82.26
114.68.82.26
114.68.82.26
114.68.82.26
114.68.82.29
183.196.255.237
114.68.82.26
114.68.82.27
114.68.82.26
114.68.82.26
114.68.82.27
183.196.253.128
183.196.253.125
183.196.253.128
183.196.253.128
122.224.179.242
82.186.85.249
82.186.84.18
82.186.85.223
183.204.148.79
183.196.255.237
183.204.163.137
183.204.150.12
183.204.150.12
183.204.150.12

排序去重,重复数由多到少排序:

# uniq常和sort一起使用
[root@Rohn ~]#cat ip.txt | sort |uniq -c|sort -nr
20 114.68.82.26
9 183.156.95.175
4 183.196.253.128
4 183.156.93.246
4 125.119.187.63
4 114.68.82.27
3 183.204.150.12
3 183.196.249.224
3 125.119.185.164
3 114.68.82.29
2 183.204.149.90
2 183.196.255.237
1 82.190.251.242
1 82.186.85.249
1 82.186.85.223
1 82.186.84.18
1 183.204.163.137
1 183.204.151.206
1 183.204.149.137
1 183.204.148.79
1 183.196.253.125
1 183.156.95.190
1 125.120.25.172
1 125.119.187.50
1 125.119.185.214
1 125.118.108.202
1 122.224.179.242

Linux基础:uniq命令总结的更多相关文章

  1. Linux学习笔记(9)linux网络管理与配置之一——Linux基础网络命令与学习大纲(0)

    大纲目录 0.常用linux基础网络命令 1.配置主机名 2.配置网卡信息与IP地址 3.配置DNS客户端 4.配置名称解析顺序 5.配置路由与默认网关 6.双网卡绑定 [1] ping [2]net ...

  2. (大数据工程师学习路径)第一步 Linux 基础入门----命令执行顺序控制与管道

    介绍 顺序执行.选择执行.管道.cut 命令.grep 命令.wc 命令.sort 命令等,高效率使用 Linux 的技巧. 一.命令执行顺序的控制 1.顺序执行多条命令 通常情况下,我们每次只能在终 ...

  3. Linux基础入门级命令文档

    Linux系统上命令的使用格式,及常用命令示例 1.命令提示符 登录系统后,第一眼看到的内容是: [root@node01 ~]# 上图就是 Linux 系统的命令提示符.那么,这个提示符的含义是什么 ...

  4. linux中uniq命令全面解析

    目录 一 :uniq作用 二:uniq格式 1.参数 2.参数案例解析: linuxuniq简介 Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用. u ...

  5. [shell基础]——uniq命令

    uniq命令常见选项      去除重复行      -u  显示不重复的行      -d  显示有重复的行      -c  打印每一行重复的次数 测试文本内容如下: # cat 4.txt 11 ...

  6. Linux之uniq命令

    uniq - report or omit repeated lines  省去重复的行 参数: -i  忽略大小写字符的不同 -c  对重复的行进行记数 注意:uniq命令只会对相邻的重复的行进行去 ...

  7. Linux:uniq命令详解

    uniq uniq命令用于报告或忽略文件中的重复行,一般与sort命令结合使用. 语法 uniq(选项)(参数) 选项 -c或——count:在每列旁边显示该行重复出现的次数: -d或--repeat ...

  8. linux sort uniq命令详解

    sort 功能说明:将文本文件内容加以排序,sort可针对文本文件的内容,以行为单位来排序. sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+&l ...

  9. Linux基础——常用命令

    find /grep /xargs /sort /uniq /tr /cut /paste /sed /awk......待续...... 1.find 名字查找: find . -name file ...

  10. Linux基础-常用命令

    常用的压缩命令 一.tar 1.压缩:tar zcvf [压缩包名].tar.gz [待压缩的文件名 ... ] 2.解压缩:tar zxvf [压缩包名].tar.gz -C [指定的解压目录] 3 ...

随机推荐

  1. Ubuntu 17.10安装phpMyAdmin数据库管理工具

      和Windows下各种双击安装直接使用的数据库管理工具不同,Linux下的数据库管理工具显得有些稍稍复杂.由于版权和收费限制,很多好用的数据库管理工具例如Data Grip和Navicat不能直接 ...

  2. [Fri 26 Jun 2015 ~ Thu 2 Jul 2015] Deep Learning in arxiv

    Natural Neural Networks Google DeepMind又一神作 Projected Natural Gradient Descent algorithm (PRONG) bet ...

  3. 【iOS开发系列】NSObject方法介绍

    NSObject是OC中的基类,全部类都继承于此,这里面也给我们提供了非常多与"类"和"方法"相关的方法,本文将解说几个非常有用的方法. 正文: Person. ...

  4. mysql20170404代码实现

    CREATE DATABASE IF NOT EXISTS school; USE school; CREATE TABLE tblStudent( StuId ) NOT NULL PRIMARY ...

  5. Buildroot构建指南——工具链【转】

    本文转载自:http://blog.csdn.net/zhou_chenz/article/details/52346134 Linux系统的交叉编译工具链用来将源代码变成bin文件或者库文件的一个软 ...

  6. 杂项:BIM

    ylbtech-杂项:BIM 建筑信息化模型(BIM)的英文全称是Building Information Modeling,是一个完备的信息模型,能够将工程项目在全生命周期中各个不同阶段的工程信息. ...

  7. Bayesian Regression

    Thus we see that there are very close similarities between this Bayesian viewpoint and the conventio ...

  8. Transaction count after EXECUTE indicates a mismatching number of BEGIN and COMMIT statements

    Transaction count after EXECUTE indicates a mismatching number of BEGIN and COMMIT statements 开始想写一个 ...

  9. Bootstrap 只读输入框

    只读输入框 为输入框设置 readonly 属性可以禁止用户输入,并且输入框的样式也是禁用状态.   <input class="form-control" type=&qu ...

  10. Rocky(模拟)

    http://acm.sdut.edu.cn/sdutoj/problem.php?action=showproblem&problemid=2718 题意:如果没有障碍就按原方向直走,否则就 ...