linux之sort和uniq
uniq
uniq命令:
uniq不加参数，只对相邻的相同行内容去重。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# uniq oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.8
10.0.0.9
sort 命令:排序的命令
sort命令不加参数，会把重复的行相邻。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.8
10.0.0.9
对oldboy.txt文件进行去除相同的行内容：
法1：sort配合uniq去除重复的行。
[root@localhost ~]# sort oldboy.txt |uniq
10.0.0.7
10.0.0.8
10.0.0.9
法二： sort –u filename -u去除重复的行。
[root@localhost ~]# sort -u oldboy.txt
10.0.0.7
10.0.0.8
10.0.0.9
uniq –c filename -c统计重复的行的内容的行（次）数，即去重计数。
例子如下：
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt |uniq -c
2 10.0.0.7
3 10.0.0.8
2 10.0.0.9
企业真实案例（这个案例非常重要）：
处理以下文件内容,将域名取出并根据域名进行计数排序处理:(百度和sohu面试题)
oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# cat oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c
1 mp3.etiantian.org
2 post.etiantian.org
倒序排序：sort –r filename -r参数倒序排序（反过来排序）。
法一：
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c|sort -r
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
分析：此类问题是运维工作中最常见的问题。可以演变成分析日志，查看TCP各个状态连接数，查看单IP连接数排名等等。
法二：
[root@localhost ~]# cut -d "/" -f3 oldboy.log |sort -r|uniq -c
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
sort
sort 命令：分隔符默认是空格。
默认按照整行排序。
-u:去重（去除相同内容的行）。
-r:倒序（反过来排序），倒序经常使用。
-n:按照数字排序。
-t:指定分隔符，类似AWK的-F，例如：-t,指定分隔符，-k1就是分隔符之后的第一列排序。
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
对第二列字符进行排序：
[root@localhost ~]# cat oldboy.txt
10.0.0.9 a
10.0.0.8 k
10.0.0.7 f
10.0.0.7 n
10.0.0.8 c
10.0.0.8 z
10.0.0.9 o
[root@localhost ~]# sort -k 2 oldboy.txt
10.0.0.9 a
10.0.0.8 c
10.0.0.7 f
10.0.0.8 k
10.0.0.7 n
10.0.0.9 o
10.0.0.8 z
进行倒序排序：
[root@localhost ~]# sort -rk2 oldboy.txt
10.0.0.8 z
10.0.0.9 o
10.0.0.7 n
10.0.0.8 k
10.0.0.7 f
10.0.0.8 c
10.0.0.9 a
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
-k参数用法1和用法2结合的例子（对IP地址降序排序）（日志经常用到此方法用法）：
[root@saltstack-client2 ~]# cat arp.txt
192.168.3.1 00:0F:AF:81:19:DE
192.168.3.1 00:0F:AF:81:19:49
192.168.3.2 00:30:AF:81:19:EF
192.168.3.3 00:40:AF:81:19:BF
192.168.0.152 00:65:AF:81:19:AF
192.168.0.153 00:70:AF:81:19:CF
192.168.1.1 00:80:AF:81:19:59
192.168.1.2 00:45:AF:81:19:GF
192.168.2.20 00:60:AF:81:19:1F
[root@saltstack-client2 ~]# sort -t. -k3.1,3.1nr -k4.1,4.3nr arp.txt
192.168.3.3 00:40:AF:81:19:BF
192.168.3.2 00:30:AF:81:19:EF
192.168.3.1 00:0F:AF:81:19:49
192.168.3.1 00:0F:AF:81:19:DE
192.168.2.20 00:60:AF:81:19:1F
192.168.1.2 00:45:AF:81:19:GF
192.168.1.1 00:80:AF:81:19:59
192.168.0.153 00:70:AF:81:19:CF
192.168.0.152 00:65:AF:81:19:AF
注意：-t,-k一般都是在一起结合使用！sort常用的参数：-r,-n,-t,-k。
linux之sort和uniq的更多相关文章
- Linux中sort和uniq关于排序去重的那些用法
相信在Linux下对文件操作经常会用到sort和uniq命令,下面系统的介绍一下这两个命令的用法. sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出.sort命令既可以从特 ...
- linux中sort、uniq、cut、tr、wc命令的使用
文本处理命令 1.sort命令 使用场景 : 用于将文件内容加以排序(可以和cat一起用) 参数 作用 -n 依照数值的大小排序 -r 以相反的顺序来排序(默认只比较第一个数,-rn是按所有数值比较) ...
- 11、Linux基础--sort、uniq、cut、tr、wc、流处理工具sed
笔记 1.晨考 1.写出过滤手机号的正则表达式 1[0-9]{10} 2.写出过滤邮箱的正则表达式 chenyang@123.com [a-zA-Z0-9-_]+@[a-z0-9]+\.(com|cn ...
- linux 命令 — sort、uniq
sort uniq sort:对行或者文本文件排序 uniq:去除重复的行 常用 sort -n file.txt 按数字进行排序 sort -r file.txt 按逆序进行排序 sort -M f ...
- Linux命令sort和uniq 的基本使用
uniq 123.txt 去除连续重复uniq -u 123.txt 保留唯一uniq -c 123.txt 去重并计算出现的个数sort -n 123.txt | uniq -c 排序后去重s ...
- linux shell 脚本攻略学习8---md5校验，sort排序,uniq命令详解
一.校验与核实 目前最为出名的校验技术是md5sum和sha1sum,它们对文件内容使用相应的算法来生成校验和. 举例: amosli@amosli-pc:~/learn$ md5sum text.t ...
- Linux Shell 文本处理工具集锦--Awk―sed―cut(row-based, column-based),find、grep、xargs、sort、uniq、tr、cut、paste、wc
本文将介绍Linux下使用Shell处理文本时最常用的工具:find.grep.xargs.sort.uniq.tr.cut.paste.wc.sed.awk:提供的例子和参数都是最常用和最为实用的: ...
- Linux之 sort,uniq,cut,wc命令详解
sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 ...
- 每天学点linux命令--tail，cut，sort，uniq
tail 命令从指定点开始将文件写到标准输出.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新, ...
随机推荐
- ES6-字符串扩展-padStart()，padEnd()
ES6 引入了字符串补全长度的功能,如果某个字符串不够指定长度,会在头部活尾部补全. padStart() 用于头部补全: padEnd() 用于尾部补全. 上面代码中,padStart 和 padE ...
- 从零开始的程序逆向之路基础篇 第二章——用OllyDbg(OD)分析一个简单的软件
作者:Crazyman_Army 原文来自:https://bbs.ichunqiu.com/thread-43469-1-1.html 0x00知识回顾 (由于笔者省事,没开XP虚拟机,而且没关闭A ...
- 10.TreeSet、比较器
Comparable和Comparator Comparable 简介 Comparable 是排序接口.若一个类实现了Comparable接口,就意味着"该类支持排序". 即 ...
- vue-cli脚手架项目按需引入elementUI
https://www.jianshu.com/p/40da0ba35ac1 Couldn't find preset "es2015" relative to directory ...
- 用react + redux + router写一个todo
概述 最近学习redux,打算用redux + router写了一个todo.记录下来,供以后开发时参考,相信对其他人也有用. 注意: 我只实现了Footer组件的router,其它组件的实现方法是类 ...
- ffmpeg命令： 删除视频中不需要的音频流
1.ffprobe gf.mkv 查看 2.ffmpeg -i gf.mkv -map 0:0 -map 0:2 -vcodec copy -acodec copy out.mkv 注: -m ...
- 使用autogen工具生成Makefile遇到问题解决思路
使用autogen工具生成Makefile,最新的应用程序很多都使用autogen,本着知行合一的精神 最近有空也研究了一下该工具的使用,详细步骤请参考文档: http://blog.csdn.net ...
- Linux shell逐行读取文件的方法
方法1:while循环中执行效率最高,最常用的方法. function while_read_line_bottom(){ while read line do echo $line done < ...
- Spring Boot初识（2）- Spring Boot整合Mybaties
一.本文介绍 首先读这篇文章之前如果没有接触过Spring Boot可以看一下之前的文章,并且读这篇文章还需要你至少能写基本的sql语句.我在写这篇文章之前也想过到底是选择JPA还是Mybaties作 ...
- [TensorFlow] Introduction to TensorFlow Datasets and Estimators
Datasets and Estimators are two key TensorFlow features you should use: Datasets: The best practice ...