linux之sort和uniq
uniq
uniq命令:
uniq不加参数，只对相邻的相同行内容去重。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# uniq oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.8
10.0.0.9
sort 命令:排序的命令
sort命令不加参数，会把重复的行相邻。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.8
10.0.0.9
对oldboy.txt文件进行去除相同的行内容：
法1：sort配合uniq去除重复的行。
[root@localhost ~]# sort oldboy.txt |uniq
10.0.0.7
10.0.0.8
10.0.0.9
法二： sort –u filename -u去除重复的行。
[root@localhost ~]# sort -u oldboy.txt
10.0.0.7
10.0.0.8
10.0.0.9
uniq –c filename -c统计重复的行的内容的行（次）数，即去重计数。
例子如下：
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt |uniq -c
2 10.0.0.7
3 10.0.0.8
2 10.0.0.9
企业真实案例（这个案例非常重要）：
处理以下文件内容,将域名取出并根据域名进行计数排序处理:(百度和sohu面试题)
oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# cat oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c
1 mp3.etiantian.org
2 post.etiantian.org
倒序排序：sort –r filename -r参数倒序排序（反过来排序）。
法一：
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c|sort -r
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
分析：此类问题是运维工作中最常见的问题。可以演变成分析日志，查看TCP各个状态连接数，查看单IP连接数排名等等。
法二：
[root@localhost ~]# cut -d "/" -f3 oldboy.log |sort -r|uniq -c
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
sort
sort 命令：分隔符默认是空格。
默认按照整行排序。
-u:去重（去除相同内容的行）。
-r:倒序（反过来排序），倒序经常使用。
-n:按照数字排序。
-t:指定分隔符，类似AWK的-F，例如：-t,指定分隔符，-k1就是分隔符之后的第一列排序。
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
对第二列字符进行排序：
[root@localhost ~]# cat oldboy.txt
10.0.0.9 a
10.0.0.8 k
10.0.0.7 f
10.0.0.7 n
10.0.0.8 c
10.0.0.8 z
10.0.0.9 o
[root@localhost ~]# sort -k 2 oldboy.txt
10.0.0.9 a
10.0.0.8 c
10.0.0.7 f
10.0.0.8 k
10.0.0.7 n
10.0.0.9 o
10.0.0.8 z
进行倒序排序：
[root@localhost ~]# sort -rk2 oldboy.txt
10.0.0.8 z
10.0.0.9 o
10.0.0.7 n
10.0.0.8 k
10.0.0.7 f
10.0.0.8 c
10.0.0.9 a
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
-k参数用法1和用法2结合的例子（对IP地址降序排序）（日志经常用到此方法用法）：
[root@saltstack-client2 ~]# cat arp.txt
192.168.3.1 00:0F:AF:81:19:DE
192.168.3.1 00:0F:AF:81:19:49
192.168.3.2 00:30:AF:81:19:EF
192.168.3.3 00:40:AF:81:19:BF
192.168.0.152 00:65:AF:81:19:AF
192.168.0.153 00:70:AF:81:19:CF
192.168.1.1 00:80:AF:81:19:59
192.168.1.2 00:45:AF:81:19:GF
192.168.2.20 00:60:AF:81:19:1F
[root@saltstack-client2 ~]# sort -t. -k3.1,3.1nr -k4.1,4.3nr arp.txt
192.168.3.3 00:40:AF:81:19:BF
192.168.3.2 00:30:AF:81:19:EF
192.168.3.1 00:0F:AF:81:19:49
192.168.3.1 00:0F:AF:81:19:DE
192.168.2.20 00:60:AF:81:19:1F
192.168.1.2 00:45:AF:81:19:GF
192.168.1.1 00:80:AF:81:19:59
192.168.0.153 00:70:AF:81:19:CF
192.168.0.152 00:65:AF:81:19:AF
注意：-t,-k一般都是在一起结合使用！sort常用的参数：-r,-n,-t,-k。
linux之sort和uniq的更多相关文章
- Linux中sort和uniq关于排序去重的那些用法
相信在Linux下对文件操作经常会用到sort和uniq命令,下面系统的介绍一下这两个命令的用法. sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出.sort命令既可以从特 ...
- linux中sort、uniq、cut、tr、wc命令的使用
文本处理命令 1.sort命令 使用场景 : 用于将文件内容加以排序(可以和cat一起用) 参数 作用 -n 依照数值的大小排序 -r 以相反的顺序来排序(默认只比较第一个数,-rn是按所有数值比较) ...
- 11、Linux基础--sort、uniq、cut、tr、wc、流处理工具sed
笔记 1.晨考 1.写出过滤手机号的正则表达式 1[0-9]{10} 2.写出过滤邮箱的正则表达式 chenyang@123.com [a-zA-Z0-9-_]+@[a-z0-9]+\.(com|cn ...
- linux 命令 — sort、uniq
sort uniq sort:对行或者文本文件排序 uniq:去除重复的行 常用 sort -n file.txt 按数字进行排序 sort -r file.txt 按逆序进行排序 sort -M f ...
- Linux命令sort和uniq 的基本使用
uniq 123.txt 去除连续重复uniq -u 123.txt 保留唯一uniq -c 123.txt 去重并计算出现的个数sort -n 123.txt | uniq -c 排序后去重s ...
- linux shell 脚本攻略学习8---md5校验，sort排序,uniq命令详解
一.校验与核实 目前最为出名的校验技术是md5sum和sha1sum,它们对文件内容使用相应的算法来生成校验和. 举例: amosli@amosli-pc:~/learn$ md5sum text.t ...
- Linux Shell 文本处理工具集锦--Awk―sed―cut(row-based, column-based),find、grep、xargs、sort、uniq、tr、cut、paste、wc
本文将介绍Linux下使用Shell处理文本时最常用的工具:find.grep.xargs.sort.uniq.tr.cut.paste.wc.sed.awk:提供的例子和参数都是最常用和最为实用的: ...
- Linux之 sort,uniq,cut,wc命令详解
sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 ...
- 每天学点linux命令--tail，cut，sort，uniq
tail 命令从指定点开始将文件写到标准输出.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新, ...
随机推荐
- python numpy安装
一.python下的numpy安装方法 第一步:安装python,这里不做介绍. 第二步:打开cmd看python是否安装成功. 第三步:输入 python -m pip install -U pip ...
- jq版本的checkbox有radio的单选效果（可得到value值）
<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title>复 ...
- MySQL 设计规范
一.数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名 ...
- MySQL 一些内部原理
1. MySQL 体系结构 如下图: Mysql是由SQL接口,解析器,优化器,缓存,存储引擎组成的(SQL Interface. Parser. Optimizer.Caches&Buffe ...
- IDEA之Git分支以及Stash使用
访问我的博客 随着公司开发人员的增加,以及多需求的并行开发,功能上线就会碍手碍脚:害怕自己没写完的代码被别人部署到线上,害怕别人代码没写完被自己部署到线上:总之功能上线之前还要和所有开发沟通,能不能部 ...
- ssh的两个小知识
ssh的两个小知识 1. 在ssh客户端启动远程服务器的图形界面程序. 如果你试图在ssh客户端运行远程服务器的一个图形界面程序,比如说执行firefox,此时可能会提示,can not connec ...
- ajaxFileUpload带参数提交(亲测可用)
使用ajaxFileUpload上传文件时,有时需要带参数提交,网上有很多资料说使用data,但其实要使用data带参数是需要修改的,否则后台是获取不到的. 分析原因: ajaxFileUpload为 ...
- 程序员进阶之算法练习：LeetCode专场
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由落影发表 前言 LeetCode上的题目是大公司面试常见的算法题,今天的目标是拿下5道算法题: 题目1是基于链表的大数加法,既考察基本 ...
- HDFS集群数据不均衡处理
一.概述 公司使用是自己搭建的hadoop集群,版本2.7.3,最近发现出现了hdfs数据存储不均衡的现象,其中有一个datanode使用了65%,而有一个只使用了20%.hadoop集群使用的时间长 ...
- Docker实践:python应用容器化
一.前言 容器使用沙箱机制,互相隔离,优势在于让各个部署在容器的里的应用互不影响,独立运行,提供更高的安全性.本文主要介绍python应用(django)跑在docker容器里,编写dockerfil ...