linux之sort和uniq
uniq
uniq命令:
uniq不加参数，只对相邻的相同行内容去重。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# uniq oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.8
10.0.0.9
sort 命令:排序的命令
sort命令不加参数，会把重复的行相邻。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.8
10.0.0.9
对oldboy.txt文件进行去除相同的行内容：
法1：sort配合uniq去除重复的行。
[root@localhost ~]# sort oldboy.txt |uniq
10.0.0.7
10.0.0.8
10.0.0.9
法二： sort –u filename -u去除重复的行。
[root@localhost ~]# sort -u oldboy.txt
10.0.0.7
10.0.0.8
10.0.0.9
uniq –c filename -c统计重复的行的内容的行（次）数，即去重计数。
例子如下：
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt |uniq -c
2 10.0.0.7
3 10.0.0.8
2 10.0.0.9
企业真实案例（这个案例非常重要）：
处理以下文件内容,将域名取出并根据域名进行计数排序处理:(百度和sohu面试题)
oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# cat oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c
1 mp3.etiantian.org
2 post.etiantian.org
倒序排序：sort –r filename -r参数倒序排序（反过来排序）。
法一：
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c|sort -r
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
分析：此类问题是运维工作中最常见的问题。可以演变成分析日志，查看TCP各个状态连接数，查看单IP连接数排名等等。
法二：
[root@localhost ~]# cut -d "/" -f3 oldboy.log |sort -r|uniq -c
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
sort
sort 命令：分隔符默认是空格。
默认按照整行排序。
-u:去重（去除相同内容的行）。
-r:倒序（反过来排序），倒序经常使用。
-n:按照数字排序。
-t:指定分隔符，类似AWK的-F，例如：-t,指定分隔符，-k1就是分隔符之后的第一列排序。
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
对第二列字符进行排序：
[root@localhost ~]# cat oldboy.txt
10.0.0.9 a
10.0.0.8 k
10.0.0.7 f
10.0.0.7 n
10.0.0.8 c
10.0.0.8 z
10.0.0.9 o
[root@localhost ~]# sort -k 2 oldboy.txt
10.0.0.9 a
10.0.0.8 c
10.0.0.7 f
10.0.0.8 k
10.0.0.7 n
10.0.0.9 o
10.0.0.8 z
进行倒序排序：
[root@localhost ~]# sort -rk2 oldboy.txt
10.0.0.8 z
10.0.0.9 o
10.0.0.7 n
10.0.0.8 k
10.0.0.7 f
10.0.0.8 c
10.0.0.9 a
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
-k参数用法1和用法2结合的例子（对IP地址降序排序）（日志经常用到此方法用法）：
[root@saltstack-client2 ~]# cat arp.txt
192.168.3.1 00:0F:AF:81:19:DE
192.168.3.1 00:0F:AF:81:19:49
192.168.3.2 00:30:AF:81:19:EF
192.168.3.3 00:40:AF:81:19:BF
192.168.0.152 00:65:AF:81:19:AF
192.168.0.153 00:70:AF:81:19:CF
192.168.1.1 00:80:AF:81:19:59
192.168.1.2 00:45:AF:81:19:GF
192.168.2.20 00:60:AF:81:19:1F
[root@saltstack-client2 ~]# sort -t. -k3.1,3.1nr -k4.1,4.3nr arp.txt
192.168.3.3 00:40:AF:81:19:BF
192.168.3.2 00:30:AF:81:19:EF
192.168.3.1 00:0F:AF:81:19:49
192.168.3.1 00:0F:AF:81:19:DE
192.168.2.20 00:60:AF:81:19:1F
192.168.1.2 00:45:AF:81:19:GF
192.168.1.1 00:80:AF:81:19:59
192.168.0.153 00:70:AF:81:19:CF
192.168.0.152 00:65:AF:81:19:AF
注意：-t,-k一般都是在一起结合使用！sort常用的参数：-r,-n,-t,-k。
linux之sort和uniq的更多相关文章
- Linux中sort和uniq关于排序去重的那些用法
相信在Linux下对文件操作经常会用到sort和uniq命令,下面系统的介绍一下这两个命令的用法. sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出.sort命令既可以从特 ...
- linux中sort、uniq、cut、tr、wc命令的使用
文本处理命令 1.sort命令 使用场景 : 用于将文件内容加以排序(可以和cat一起用) 参数 作用 -n 依照数值的大小排序 -r 以相反的顺序来排序(默认只比较第一个数,-rn是按所有数值比较) ...
- 11、Linux基础--sort、uniq、cut、tr、wc、流处理工具sed
笔记 1.晨考 1.写出过滤手机号的正则表达式 1[0-9]{10} 2.写出过滤邮箱的正则表达式 chenyang@123.com [a-zA-Z0-9-_]+@[a-z0-9]+\.(com|cn ...
- linux 命令 — sort、uniq
sort uniq sort:对行或者文本文件排序 uniq:去除重复的行 常用 sort -n file.txt 按数字进行排序 sort -r file.txt 按逆序进行排序 sort -M f ...
- Linux命令sort和uniq 的基本使用
uniq 123.txt 去除连续重复uniq -u 123.txt 保留唯一uniq -c 123.txt 去重并计算出现的个数sort -n 123.txt | uniq -c 排序后去重s ...
- linux shell 脚本攻略学习8---md5校验，sort排序,uniq命令详解
一.校验与核实 目前最为出名的校验技术是md5sum和sha1sum,它们对文件内容使用相应的算法来生成校验和. 举例: amosli@amosli-pc:~/learn$ md5sum text.t ...
- Linux Shell 文本处理工具集锦--Awk―sed―cut(row-based, column-based),find、grep、xargs、sort、uniq、tr、cut、paste、wc
本文将介绍Linux下使用Shell处理文本时最常用的工具:find.grep.xargs.sort.uniq.tr.cut.paste.wc.sed.awk:提供的例子和参数都是最常用和最为实用的: ...
- Linux之 sort,uniq,cut,wc命令详解
sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 ...
- 每天学点linux命令--tail，cut，sort，uniq
tail 命令从指定点开始将文件写到标准输出.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新, ...
随机推荐
- 2017CS231n学习笔记——计算机视觉的概述
本节课主要讲述了cs231n课程的背景和计算机视觉的历史,也主要介绍了目前很重要的一个计算机视觉数据集--IMAGENET. 更多内容参考我的AI学习之路 课程简介 这门课程是由stanford大学计 ...
- Spring，为内部方法新起一个事务，此处应有坑。
事务的作用,使我们操作能够连贯起来.而spring则是提供了一个更简单的方法,只要使用 @Transactional 一个注解,就可以保证操作的连贯性了. 普通用法,稍后再说,这里要说的是: 在最外面 ...
- python编译生成的.pyc作用
如果 Python 进程在机器上拥有写入权限,那么它将把程序的字节码保存为一个以 .pyc 为扩展名的文件( ".pyc" 就是编译过的 ".py" 源代码). ...
- mysql快熟入门
前提:假设我们的电脑或服务器已经正确安装了mysql服务器 一:连接和断开mysql服务器 1.1连接数据库服务器 shell> mysql -u user -p (user用户名通常为root ...
- $.parseJson()定义和用法
$.parseJSON() 函数用于将符合标准格式的的JSON字符串转为与之对应的JavaScript对象. 例子: 这里首先给出JSON字符串集,字符串集如下: var data=" { ...
- [每天解决一问题系列 - 0008] 关于.net framework 路径最大长度的问题
问题描述: 有时候,在copy文件的时候,会提示目录长度太大,无法copy 解决方法: 可以使用Long Path Tool 解决问题 相关解释: http://blogs.msdn.com/b/bc ...
- matlab中数组的拼接
matlab中,行拼接用逗号“:”,列拼接用分号“,”.示例如下: >> a=[1,2,3,4] 结果: a = 1 2 3 4 >> b=[1;2;3;4] 结果: b = ...
- 使用jdk的keytool 生成CA证书的方法
一.CA证书生成设置总共分为以下5步: 步骤: 1.根据java的keytool生成CA根证书,放在服务器 2.根据服务器CA根证书导出客户端证书 3.tomcat增加SSL配置 4.客户端IE浏览器 ...
- Eureka核心知识点
一.Eureka特性1.当注册中心挂了,客户端之间依然可以通过原有的注册表进行调用:注册中心重启后,客户端会继续注册进来 2.当服务提供者挂了,在关闭自我保护的情况下,注册中心在规定时间(默认是60s ...
- 可重入锁 & 不可重入锁
可重入锁指同一个线程可以再次获得之前已经获得的锁,避免产生死锁. Java中的可重入锁:synchronized 和 java.util.concurrent.locks.ReentrantLock. ...