linux之sort和uniq
uniq
uniq命令:
uniq不加参数，只对相邻的相同行内容去重。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# uniq oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.8
10.0.0.9
sort 命令:排序的命令
sort命令不加参数，会把重复的行相邻。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.8
10.0.0.9
对oldboy.txt文件进行去除相同的行内容：
法1：sort配合uniq去除重复的行。
[root@localhost ~]# sort oldboy.txt |uniq
10.0.0.7
10.0.0.8
10.0.0.9
法二： sort –u filename -u去除重复的行。
[root@localhost ~]# sort -u oldboy.txt
10.0.0.7
10.0.0.8
10.0.0.9
uniq –c filename -c统计重复的行的内容的行（次）数，即去重计数。
例子如下：
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt |uniq -c
2 10.0.0.7
3 10.0.0.8
2 10.0.0.9
企业真实案例（这个案例非常重要）：
处理以下文件内容,将域名取出并根据域名进行计数排序处理:(百度和sohu面试题)
oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# cat oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c
1 mp3.etiantian.org
2 post.etiantian.org
倒序排序：sort –r filename -r参数倒序排序（反过来排序）。
法一：
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c|sort -r
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
分析：此类问题是运维工作中最常见的问题。可以演变成分析日志，查看TCP各个状态连接数，查看单IP连接数排名等等。
法二：
[root@localhost ~]# cut -d "/" -f3 oldboy.log |sort -r|uniq -c
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
sort
sort 命令：分隔符默认是空格。
默认按照整行排序。
-u:去重（去除相同内容的行）。
-r:倒序（反过来排序），倒序经常使用。
-n:按照数字排序。
-t:指定分隔符，类似AWK的-F，例如：-t,指定分隔符，-k1就是分隔符之后的第一列排序。
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
对第二列字符进行排序：
[root@localhost ~]# cat oldboy.txt
10.0.0.9 a
10.0.0.8 k
10.0.0.7 f
10.0.0.7 n
10.0.0.8 c
10.0.0.8 z
10.0.0.9 o
[root@localhost ~]# sort -k 2 oldboy.txt
10.0.0.9 a
10.0.0.8 c
10.0.0.7 f
10.0.0.8 k
10.0.0.7 n
10.0.0.9 o
10.0.0.8 z
进行倒序排序：
[root@localhost ~]# sort -rk2 oldboy.txt
10.0.0.8 z
10.0.0.9 o
10.0.0.7 n
10.0.0.8 k
10.0.0.7 f
10.0.0.8 c
10.0.0.9 a
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
-k参数用法1和用法2结合的例子（对IP地址降序排序）（日志经常用到此方法用法）：
[root@saltstack-client2 ~]# cat arp.txt
192.168.3.1 00:0F:AF:81:19:DE
192.168.3.1 00:0F:AF:81:19:49
192.168.3.2 00:30:AF:81:19:EF
192.168.3.3 00:40:AF:81:19:BF
192.168.0.152 00:65:AF:81:19:AF
192.168.0.153 00:70:AF:81:19:CF
192.168.1.1 00:80:AF:81:19:59
192.168.1.2 00:45:AF:81:19:GF
192.168.2.20 00:60:AF:81:19:1F
[root@saltstack-client2 ~]# sort -t. -k3.1,3.1nr -k4.1,4.3nr arp.txt
192.168.3.3 00:40:AF:81:19:BF
192.168.3.2 00:30:AF:81:19:EF
192.168.3.1 00:0F:AF:81:19:49
192.168.3.1 00:0F:AF:81:19:DE
192.168.2.20 00:60:AF:81:19:1F
192.168.1.2 00:45:AF:81:19:GF
192.168.1.1 00:80:AF:81:19:59
192.168.0.153 00:70:AF:81:19:CF
192.168.0.152 00:65:AF:81:19:AF
注意：-t,-k一般都是在一起结合使用！sort常用的参数：-r,-n,-t,-k。
linux之sort和uniq的更多相关文章
- Linux中sort和uniq关于排序去重的那些用法
相信在Linux下对文件操作经常会用到sort和uniq命令,下面系统的介绍一下这两个命令的用法. sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出.sort命令既可以从特 ...
- linux中sort、uniq、cut、tr、wc命令的使用
文本处理命令 1.sort命令 使用场景 : 用于将文件内容加以排序(可以和cat一起用) 参数 作用 -n 依照数值的大小排序 -r 以相反的顺序来排序(默认只比较第一个数,-rn是按所有数值比较) ...
- 11、Linux基础--sort、uniq、cut、tr、wc、流处理工具sed
笔记 1.晨考 1.写出过滤手机号的正则表达式 1[0-9]{10} 2.写出过滤邮箱的正则表达式 chenyang@123.com [a-zA-Z0-9-_]+@[a-z0-9]+\.(com|cn ...
- linux 命令 — sort、uniq
sort uniq sort:对行或者文本文件排序 uniq:去除重复的行 常用 sort -n file.txt 按数字进行排序 sort -r file.txt 按逆序进行排序 sort -M f ...
- Linux命令sort和uniq 的基本使用
uniq 123.txt 去除连续重复uniq -u 123.txt 保留唯一uniq -c 123.txt 去重并计算出现的个数sort -n 123.txt | uniq -c 排序后去重s ...
- linux shell 脚本攻略学习8---md5校验，sort排序,uniq命令详解
一.校验与核实 目前最为出名的校验技术是md5sum和sha1sum,它们对文件内容使用相应的算法来生成校验和. 举例: amosli@amosli-pc:~/learn$ md5sum text.t ...
- Linux Shell 文本处理工具集锦--Awk―sed―cut(row-based, column-based),find、grep、xargs、sort、uniq、tr、cut、paste、wc
本文将介绍Linux下使用Shell处理文本时最常用的工具:find.grep.xargs.sort.uniq.tr.cut.paste.wc.sed.awk:提供的例子和参数都是最常用和最为实用的: ...
- Linux之 sort,uniq,cut,wc命令详解
sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 ...
- 每天学点linux命令--tail，cut，sort，uniq
tail 命令从指定点开始将文件写到标准输出.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新, ...
随机推荐
- 学生管理系统(springMVC)
<Java Web编程>课程设计 ...
- iOS app 支持HTTPS iOS开发者相关
2016年12月21日更新开发者中心链接https://developer.apple.com/news/?id=12212016b该链接是苹果昨天刚在官网给的正式回复 如下: App Transpo ...
- 可能比文档还详细--VueRouter完全指北
可能比文档还详细--VueRouter完全指北 前言 关于标题,应该算不上是标题党,因为内容真的很多很长很全面.主要是在官网的基础上又详细总结,举例了很多东西.确保所有新人都能理解!所以实际上很多东西 ...
- Oracle.ManagedDataAccess 提示ORA-01017 错误【解决方案】
Oracle.ManagedDataAccess 提示ORA-01017 错误[解决方案] Oracle.ManagedDataAccess 提示ORA-01017 错误[解决方案] [HKEY_LO ...
- python lxml库生成xml文件-节点命名空间问题
lxml库,处理xml很强大,官方文档:https://lxml.de/tutorial.html#namespaces 例如: 我们要生成如下格式的报文: <ttt:jesson xmlns: ...
- 课程三(Structuring Machine Learning Projects)，第一周（ML strategy（1）） —— 0.Learning Goals
Learning Goals Understand why Machine Learning strategy is important Apply satisficing and optimizin ...
- Spark之submit任务时的Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
Spark submit任务到Spark集群时,会出现如下异常: Exception 1:Initial job has not accepted any resources; check your ...
- 从零开始学 Web 之 HTML5（三）网络监听，全屏，文件读取，地理定位接口，应用程序缓存
大家好,这里是「 从零开始学 Web 系列教程 」,并在下列地址同步更新...... github:https://github.com/Daotin/Web 微信公众号:Web前端之巅 博客园:ht ...
- jQgrid学习笔记
jQgrid学习笔记
- java 面试基础总结（二）---多线程
1.实现多线程的三种方法 1.继成Thread 类,覆盖run()方法即可 2.implements Runnable接口 3.implements Callale接口,执行时通过FutureTask ...