awk处理重复行错误分析
[root@localhost ~]#cat 0712
YRSD2-1-11
YRSD2-2-18
YRSD1-1-8
YRSD1-1-18
YRSD1-1-20
YRSD1-1-25
YRSD1-2-38
YRSD1-2-39
YRSD1-2-44
YRSD1-2-48
YRSD1-2-43
YRSD1-3-58
YRSD1-3-59
YRSD1-4-67
YRSD1-4-68
YRSD1-4-70
YRSD1-4-71
YRSD1-3-52
YRSD4-1-5
YRSD3-1-7
YRSD3-1-22
YRSD3-1-28
YRSD3-2-37
YRSD3-2-50
YRSD3-2-53
YRSD3-2-55
YRSD6-1-1
YRSD6-1-5
YRSD6-1-15
YRSD6-2-28
YRSD6-2-32
YRSD6-2-36
YRSD5-1-7
YRSD5-1-22
YRSD5-1-23
YRSD5-1-24
YRSD5-1-25
YRSD5-1-26
YRSD5-2-33
YRSD5-2-37
YRSD5-2-42
YRSD5-2-51
YRSD5-2-54
YRSD5-2-53 YRSD1-1-18
YRSD1-2-38
YRSD1-2-44
YRSD1-2-48
YRSD1-4-67
YRSD1-4-68
YRSD2-1-11
YRSD2-2-18
YRSD3-1-22
YRSD3-1-28
YRSD5-1-22
YRSD5-1-25
YRSD5-2-37
YRSD5-2-42
YRSD5-2-54
YRSD6-1-1
YRSD6-1-15
想将重复的行打印出来,结果搞错了,闲来无聊想想为什么会有这样的结果,算是对awk的加深印象
[root@localhost ~]#awk 'a[$0]++{for(i in a)print i,a[i]}' 0712 | wc -l
810
解析
a[$0]++结果为真时,执行action,所以第一遍不重复的时候,将数组存储
然后每次遇到重复的行,pattern结果为真,执行一次action,一共18个重复行,执行18次,每次结果为45行,共计45*18=810行
顺序对结果也有影响,对计数有影响
[root@localhost ~]#awk '++a[$0]{for(i in a)print i,a[i]}' 0712 | wc -l
1845
解析
因为++a[$0]第一次就有结果了,所以第一次就将a[第一行]打印出来,
第二行时,将第一行、第二行打印出来
第三行时,将第一二三行打印出来
以此类推
不重复行为45行
所以结果为45*(1+45)/2=1035
从第46行开始重复,且每次打印时数组均为45项,即45*18=810
1035+810=1845
over
[root@localhost ~]#awk 'a[$0]++;END{for(i in a)print i,a[i]}' 0712 | wc -l
63
awk只执行pattern对空间的内容没有影响,所以使用END模块也就没有效果
百度百科awk
其中 pattern 表示 AWK 在数据中查找的内容,而 action 是在找到匹配内容时所执行的一系列命令。花括号 ({}) 不需要在程序中始终出现,但它们用于根据特定的模式对一系列指令进行分组。
所以正确的END模式如下:
[root@localhost ~]#awk '{a[$0]++};END{for(i in a)print i,a[i]}' 0712 | wc -l
45
awk处理重复行错误分析的更多相关文章
- awk除去重复行
awk去除重复行,思路是以每一行的$0为key,创建一个hash数组,后续碰到的行,如果数组里已经有了,就不再print了,否则将其print 测试文件: 用awk: 用sort+uniq好像出错了: ...
- linux 下删除重复行-- uniq 与 awk
$ cat file liw liw liw hdsui mdksjd liw $ cat file | uniq -u # 只删除相邻的,不保留重复行 hdsui mdksjd liw $ cat ...
- 【shell】awk按域去除重复行
首先解释一下什么叫“按域去除重复行”: 有的时候我们需要去除的重复行并不是整行都重复,两行的其中一列的元素相同我们有的时候就需要认定这两行重复,因此有了今天的内容. 去除重复行shell有一个原生命令 ...
- linux用命令删除重复行
文本处理时,经常要删除重复行,下面是三种方法 第一,用sort+uniq,注意,单纯uniq是不行的. sort -n test.txt | uniq 第二,用sort+awk命令,注意,单纯awk同 ...
- Linux合并文件、去除重复行的命令
Linux合并文件命令: awk '{printf("%s\n",$0)}' YQ-*101?.txt > 123.txt linux去除重复行命令:cat YQ-10 ...
- Linux删除重复行 排序和不排序的做法--转载
本文部分翻译自这里,来自 Jadu Saikia 的博客,这个博客上有很多非常有用的小技巧,有空可以多看看. 通常如果我们想获取一个文件里不重复的行的时候,我们可以直接通过 sort -u 命令,先把 ...
- Linux删除重复行
本文转自http://blog.csdn.net/ithomer/article/details/6926325 文本处理时,经常要删除重复行,下面是三种方法 第一,用sort+uniq,注意,单纯u ...
- shell 删除文本中的重复行
三种常见方法:第一,用sort+uniq,注意,单纯uniq是不行的. shell> sort -k2n file | uniq > a.out 这里我做了个简单的测试,当file中的重复 ...
- SQL Server删除重复行的6个方法
SQL Server删除重复行是我们最常见的操作之一,下面就为您介绍六种适合不同情况的SQL Server删除重复行的方法,供您参考. 1.如果有ID字段,就是具有唯一性的字段 delect ta ...
随机推荐
- ionic build android 中的报错详细原因以及解决方法
一.执行打包命令 ionic build android 1.报错: 原因: 其实也并非报错,但是会一直在下载gradle,由于网络或者其他原因,导致下载比较慢, 解决方案: 手动下载gradle,并 ...
- python 单下划线/双下划线使用总结
文章转自:http://blog.csdn.net/pfm685757/article/details/45918575
- 关于js中的json对象,json串,数组之间相互转换
将json对象转换成string var loginUser = {username: username, password: password}//方式一 localStorage.setItem( ...
- springboot之集成mybatis mongo shiro druid redis jsp
闲来无事,研究一下spingboot 发现好多地方都不一样了,第一个就是官方默认不支持jsp 于是开始狂找资料 终于让我找到了 首先引入依赖如下: <!-- tomcat的支持.--> ...
- Activiti 5.22.0 之自由驳回任务实现(亲测)
上篇博文,我们完成一个任务SKIP的实现,说好要给各位看官带来驳回实现的现在,就奉上具体实现和讲解.(其实我感觉我的注释写的已经非常清楚了,哈哈) 依旧是,先说我们的需求和思路. PS: ...
- Replacement(思维题)
题目链接:http://codeforces.com/problemset/problem/570/C C. Replacement time limit per test 2 seconds mem ...
- Oracle忘记密码如何重
---恢复内容开始--- 昨天安装Oracle11g R2的时候给scott用户设置密码,当时没有显示而且还只以输入一次,可能密码输入错误,结果今天用scott用户登录果然密码不对,还好sys和sys ...
- 在jquery中防止ajax重复提交
- JQeury添加和删除class内部实现代码(简化版)
下面是JQuery对元素class操作的简单实现,请看代码: 添加class: //增加class function addClass(elem,value) { var classes, cur, ...
- 关于jquery ajax跨域请求获取response headers问题
背景:最近项目jwt用户认证方式,关于jwt本人就不再赘述,大家可自行百度. jwt token基本流程是这样的: 用户使用用户名密码来请求服务器 服务器进行验证用户的信息 服务器通过验证发送给用户一 ...