本文只总结一些常用的用法，更详细的说明见man uniq和 uniq --help。

uniq命令

uniq命令主要用于去重。

需要注意的是，不相邻的行不算重复值。

语法格式

Usage: uniq [OPTION]... [INPUT [OUTPUT]]
OPTION 说明
-c 统计出现的次数
-d 只显示被计算为重复的行
-D 显示所有被计算为重复的行
-c 显示唯一值，即没有重复值的行
-i 忽略大小写
-z 在末尾使用\0，而不是换行符
-s 跳过多少个字符开始比较重复值
-f 跳过多少个字段(field)开始比较重复值
-w 比较重复值时每行比较的最大长度，即对每行多长的字符进行比较

实例

有以下ip地址：

183.204.149.137

82.190.251.242

183.204.151.206

183.196.249.224

125.119.187.50

125.118.108.202

114.68.82.26

183.204.149.90

183.204.149.90

125.119.185.164

125.119.185.164

183.196.249.224

125.119.185.164

183.156.95.175

183.156.95.175

183.196.249.224

183.156.93.246

183.156.95.175

183.156.95.175

183.156.93.246

183.156.95.175

183.156.95.175

114.68.82.26

183.156.95.175

125.120.25.172

183.156.93.246

183.156.95.175

183.156.95.175

183.156.93.246

114.68.82.26

114.68.82.26

114.68.82.26

114.68.82.26

114.68.82.26

114.68.82.26

114.68.82.26

183.156.95.190

125.119.187.63

114.68.82.26

125.119.187.63

125.119.187.63

125.119.187.63

125.119.185.214

114.68.82.29

114.68.82.26

114.68.82.29

114.68.82.27

114.68.82.26

183.196.253.128

114.68.82.26

114.68.82.27

114.68.82.26

114.68.82.26

114.68.82.26

114.68.82.26

114.68.82.29

183.196.255.237

114.68.82.26

114.68.82.27

114.68.82.26

114.68.82.26

114.68.82.27

183.196.253.128

183.196.253.125

183.196.253.128

183.196.253.128

122.224.179.242

82.186.85.249

82.186.84.18

82.186.85.223

183.204.148.79

183.196.255.237

183.204.163.137

183.204.150.12

183.204.150.12

183.204.150.12

排序去重，重复数由多到少排序：

# uniq常和sort一起使用

[root@Rohn ~]#cat ip.txt | sort |uniq -c|sort -nr

     20 114.68.82.26

      9 183.156.95.175

      4 183.196.253.128

      4 183.156.93.246

      4 125.119.187.63

      4 114.68.82.27

      3 183.204.150.12

      3 183.196.249.224

      3 125.119.185.164

      3 114.68.82.29

      2 183.204.149.90

      2 183.196.255.237

      1 82.190.251.242

      1 82.186.85.249

      1 82.186.85.223

      1 82.186.84.18

      1 183.204.163.137

      1 183.204.151.206

      1 183.204.149.137

      1 183.204.148.79

      1 183.196.253.125

      1 183.156.95.190

      1 125.120.25.172

      1 125.119.187.50

      1 125.119.185.214

      1 125.118.108.202

      1 122.224.179.242

Linux基础：uniq命令总结的更多相关文章

  1. Linux学习笔记（9）linux网络管理与配置之一——Linux基础网络命令与学习大纲（0）

    大纲目录 0.常用linux基础网络命令 1.配置主机名 2.配置网卡信息与IP地址 3.配置DNS客户端 4.配置名称解析顺序 5.配置路由与默认网关 6.双网卡绑定 [1] ping [2]net ...

  2. （大数据工程师学习路径）第一步 Linux 基础入门----命令执行顺序控制与管道

    介绍 顺序执行.选择执行.管道.cut 命令.grep 命令.wc 命令.sort 命令等,高效率使用 Linux 的技巧. 一.命令执行顺序的控制 1.顺序执行多条命令 通常情况下,我们每次只能在终 ...

  3. Linux基础入门级命令文档

    Linux系统上命令的使用格式,及常用命令示例 1.命令提示符 登录系统后,第一眼看到的内容是: [root@node01 ~]# 上图就是 Linux 系统的命令提示符.那么,这个提示符的含义是什么 ...

  4. linux中uniq命令全面解析

    目录 一 :uniq作用 二:uniq格式 1.参数 2.参数案例解析: linuxuniq简介 Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用. u ...

  5. [shell基础]——uniq命令

    uniq命令常见选项      去除重复行      -u  显示不重复的行      -d  显示有重复的行      -c  打印每一行重复的次数 测试文本内容如下: # cat 4.txt 11 ...

  6. Linux之uniq命令

    uniq - report or omit repeated lines  省去重复的行 参数: -i  忽略大小写字符的不同 -c  对重复的行进行记数 注意:uniq命令只会对相邻的重复的行进行去 ...

  7. Linux：uniq命令详解

    uniq uniq命令用于报告或忽略文件中的重复行,一般与sort命令结合使用. 语法 uniq(选项)(参数) 选项 -c或——count:在每列旁边显示该行重复出现的次数: -d或--repeat ...

  8. linux sort uniq命令详解

    sort 功能说明:将文本文件内容加以排序,sort可针对文本文件的内容,以行为单位来排序. sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+&l ...

  9. Linux基础——常用命令

    find /grep /xargs /sort /uniq /tr /cut /paste /sed /awk......待续...... 1.find 名字查找: find . -name file ...

  10. Linux基础-常用命令

    常用的压缩命令 一.tar 1.压缩:tar zcvf [压缩包名].tar.gz [待压缩的文件名 ... ] 2.解压缩:tar zxvf [压缩包名].tar.gz -C [指定的解压目录] 3 ...

随机推荐

  1. SQLServer到底支持多少连接数的并发？

    1)不启用连接池 当创建到101个连接的时候,就无法再创建新连接了.也就是说,如果连接字符串不做任何处理,我们的程序只能够跟SQLServer建立101个连接. 2)启用连接池 在连接字符串中加入代码 ...

  2. SUSE Linux Enterprise Serve 12 试用体验

    SUSE Linux Enterprise Serve 12 试用体验 大家都知道德国出产的奔驰.宝马.等车型以精美.可靠.耐用而著称.而相同出自德国人之手的Suse Linux .即使是被收购也是一 ...

  3. Think in ISP(image sensor pipe )之How to implement an effecitive AE

    How to implement a effecitive AE. AE(自己主动曝光) 1)try Minual exposure //time,line 2)try Max exposure // ...

  4. cocos2d js ClippingNode 制作标题闪亮特效

    1.效果图: 之前在<Android 高仿 IOS7 IPhone 解锁 Slide To Unlock>中制作了文字上闪亮移动的效果,这次我们来看下怎样在cocos2d js 中做出类似 ...

  5. MTK camera 闪光灯Flashlight驱动调试流程

    MTK camera 闪光灯Flashlight驱动调试流程 分类: MtkDev  |  作者: topicdev 相关  |  发布日期 : 2014-09-26  |  热度 : 153°   ...

  6. LMDB中的mmap、Copy On Write、MVCC深入理解——讲得非常好，常来看看！

    LMDB基本架构 lmdb的基本架构如下:  lmdb的基本做法是使用mmap文件映射,不管这个文件存储实在内存上还是在持久存储上.lmdb的所有读取操作都是通过mmap将要访问的文件只读的映射到虚拟 ...

  7. hdoj--1418--抱歉（水题）

     抱歉 Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others) Total Subm ...

  8. CentOs7 修改rpm安装背景图

    http://bbs.chinaunix.net/thread-4166176-1-1.html

  9. jsp页面动态展示list-使用<select>和<c:forEach>标签

    转自:https://blog.csdn.net/zhugewochuang/article/details/80276466 后台:搜索数据放入list,然后为这个list提供响应的get和set方 ...

  10. Coursera Algorithms Programming Assignment 1: Percolation（100分）

    题目来源http://coursera.cs.princeton.edu/algs4/assignments/percolation.html 作业分为两部分:建立模型和仿真实验. 最关键的部分就是建 ...