一.文本处理 1.按行提取关键字频次(如取第5列) awk 'BEGIN{FS="|"} {a[$5]+=1;} END {for(i in a) print i ":" a[i];}' OPT.ForumLogicNewServer_action_20161107.log | sort -nrk 2 -t ':' 2.日志用户每分钟访问量统计 这里我们统计日志中“getThreadList”接口的流量每分钟到达率. awk 'BEGIN{FS="|&qu…

Shell编程实战   为什么要学习Shell编程 Shell脚本语言是实现Linux/Unix系统管理及自动化运维所必须的重要工具,Linux系统的底层以及基础应用软件的核心大都涉及Shell脚本的内容. 一个合格的Linux系统管理员都必须熟练编写Shell脚本语言,从而提升运维人员的工作效率,减少不必要的重复性工作. 学习Shell所需的基础知识 熟练使用VIm编辑器,熟悉SSH终端等配置 在Linux下开发shell脚本用的最多的就是vim编辑器,熟练使用vim可以使得shell脚本开发…

Shell awk文本处理,shell脚本编写 一:内容包含awk.变量.运算符.if多分支 <a>语法糖: awk [options] 'commands' files option -F 定义字段分隔符,默认的分隔符是连续的空格或制表符 使用option中的-F参数定义间隔符号 用$1,$2,$3等的顺序表示files中每行以间隔符号分隔的各列不同域 NF变量表示当前记录的字段数 -v 定义变量并赋值 也可以借用次方式从shell变量中引入 command <b>读前处理 行处…

awk -F"分隔符" "command" filename awk -F":" '{print $1}' /etc/passwd 字段引用: $1代表第一列: $2代表第二列: $0代表所有列. 内置变量: FS 代表输入的分隔符,等同于-F OFS 代表输出的分隔符 NF 代表字段数,因为NF是列数,所以$NF代表最后一列 NR 代表当前处理第几行 关系操作符: == 等于 != 不等于 > 大于 < 小于 >= 大于等于…

本文参考自 http://www.cnblogs.com/zhuyp1015/archive/2012/07/11/2586985.html awk:好用的数据处理工具 awk 也是一个非常棒的数据处理工具!sed 常常用于一整个行的处理, awk 则比较倾向于一行当中分成数个『栏位』(或者称为一个域,也就是一列)来处理.因此,awk 相当的适合处理小型的数据数据处理呢!awk 通常运行的模式是这样的: [root@www ~]# awk '条件类型1{动作1}  条件类型2{动作2} ...'…

1.解析路径获取文件名和目录名. 获取文件名      #awk解法:用“/”做分隔符,然后打印出最后的那一部分. resFile=`echo /tmp/csdn/zhengyi/test/adb.log | awk -F "/" '{print $NF}'` #官方解法(basename):Bash Shell本身提供了basename命令,可以直接获取路径名最后的文件名. resFile=`basename /tmp/csdn/zhengyi/test/adb.log`     获…

在linux awk的 while.do-while和for语句中允许使用break,continue语句来控制流程走向,也允许使用exit这样的语句来退出.break中断当前正在执行的循环并跳到循环外执行下一条语句.if 是流程选择用法. awk中,流程控制语句,语法结构,与c语言类型.下面是各个语句用法. 一.条件判断语句(if) if(表达式) #if ( Variable in Array )语句1else语句2 格式中"语句1"可以是多个语句,如果你为了方便Unix awk判…

awk简介 awk: 中文意思是报告生成器 能够根据我们输入的信息,将信息格式化以后显示,将定义好的信息以比较美观(直观)的方式显示出来出现比较早,继而出现了new awk(nawk)在windows上实现,gawk, awk实现在linux上.awk是一种编程语言,用于在linux/unix下对文本和数据进行处理.数据可以来自标准输入.一个或多个文件,或其它命令的输出.它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具.它在命令行中使用,但更多是作为脚本…

awk很常用,对于我们在shell中分析log和file很有好处,很实用的东西,大家一起分享学习- 作为技术支持工程师,我们最最经常的工作就是要处理文本文件,不管是什么数据库最后都可以导成文本,我们就可以对他进行处理了,这样即使你不是对所有数据库操作都很熟悉,也可以对他的数据进行处理了. 我们必须的工具有两个:一个是shell,一个是awk.awk对于处理文本文件是最最适合的,掌握了awk我们就可以很方便的处理文本文件:再借助一些shell命令,我们可以很方便得到自己想要的结果.现在从简单的例子…

awk 一些好玩的用法．有什么不错的点子可以留言,发挥出awk牛逼功能 分离mac地址 ifconfig wlan0 | grep eth | awk '{n=split($2,arr,":"); for(i=1;i<=n;i++)printf" "arr[i];print ""}' 提取eth0信息 ifconfig | awk 'NR==1 {print substr($1,1,4)"\n-------------------…