grep 或 egrep 或awk 过滤两个或多个关键词: grep -E ‘123|abc’ filename // 找出文件(filename)中包含123或者包含abc的行 egrep ‘123|abc’ filename //用egrep同样可以实现 awk ‘/123|abc/’ filename // awk 的实现方式 假如某个广告点击数据记录在文件里面,文件中每一行数据由‘时间’,‘uid’两个字段组成,要求每分钟统计某个uid带来的点击量并计入数据库,可以用shell来实现该功

centos 正则,grep,egrep,流式编辑器 sed,awk -F 多个分隔符  通配符 特殊符号. * + ? 总结  问加星 cat -n  nl  输出文件内容并加上行号 alias放~/.bash_profile 2015-4-10 第十三节课 第一节课 grep. * + ? 特殊符号总结 问加星egrep 第二节课 sed 第三节课 awk nl命令和cat -n grep命令只支持基本正则! 通配符glob模式和正则不一样,例如 find命令 只能使用通配符,grep命令用

https://blog.csdn.net/qq_28766327/article/details/78069989 在服务器开发中,我们经常会写入大量的日志文件.有时候我们需要对这些日志文件进行统计.Linux中我们可以利用以下命令简单高效的实现这一功能. 需要用到的命令简介 cat命令 cat命令主要有三大功能 1.一次显示整个文件 cat filename 2.创建一个文件 cat > fileName 3.将几个文件合并为一个文件 cat file1 file2 > file 参数: 

1.统计用户登录类型 #!/bin/bashdeclare -A  shells (定义关联数组shells)while read ll   (读取/etc/passwd,ll为变量) dotype=`echo $ll | awk -F: '{print $7}'`  (type为变量,切割ll后的变量)let shells[$type]++done < /etc/passwd for i in ${!shells[@]}do echo "$i ::::: ${shells[$i]}&qu

#统计所有接口总量awk -F ' ' '{a[$7]++} END{for(i in a){print i,a[i] | "sort -r -k 7"}}' accesslog/211_10.log > result.txt #按照数量排序awk -F ' ' '{a[$7]++} END{for(i in a){print i,a[i] | "sort -r -n -k2"}}' accesslog/211_10.log >result.txt#

一.awk -f program.file 功能使用 一直没有使用过awk的-f功能,感觉鸡肋,不是很实用,更多的是因为没有需求的原因 下面介绍下awk -f的使用方法 awk可以指定默认的文件路径,使用AWKPATH这个变量,然后source即可 [root@nlocalhost ~]# tail -2 /etc/profile export AWKPATH=/usr/local/lib:/tmp [root@nlocalhost ~]# echo $AWKPATH /usr/local/li

我们在使用awk命令的时候,有时候命令特别长,在终端写出来格式太乱,难以阅读,以下是一个将命令写在文件中,并使用awk调用的具体案例 1.现在有文件file3.txt,内容如下: 2.ak2.awk脚本 #打印标题并格式化打印出数量合计 BEGIN { FS="\t" #设置字段分割符 printf("%10s %2s %5s %s\n\n", "Fruits","Num","Price","Pl

ps aux|awk -F'[ ]+' '$3>90{print $2}'|xargs -n1 kill -9

cat /proc/cpuinfo | awk -F: '/name/{print $2}' | uniq -c

awk增加统计列值为增加列数或进行运行结果统计,使用符号 + =.增加的结果赋给符号左边变量值,增加到变量的域在符号右边.例如将 $ 1加入变量total,表达式为toatl+=$1.列值增加很有用.许多文件都要求统计总数,但输出其统计结果十分繁琐.在awk中这很简单,请看下面的例子.将所有学生的'目前级别分'加在一起,方法是tot+=$6,tot即为awk浏览的整个文件的域6结果总和.所有记录读完后,在END部分加入一些提示信息及域 6总和.不必在awk中显示说明打印所有记录,每一个操作匹配时

http://blog.csdn.net/zhuying_linux/article/details/6822987

awk教程 转载[awk的使用及字符串的操作] sed版: sed '1~2d' file #删除奇数行 sed '1~2!d' file #删除偶数行 awk版: awk 'NR%2==0' filename #删除奇数行 awk 'NR%2==1' filename #删除偶数行 awk的基本功能是对文件进行指定规则浏览和抽取信息.基本格式:(1) awk [-F 分隔域] 'command' input-file(s)(2) 写入shell脚本中(3) awk -f awk-script-

一.正则表达式:Regular Expression 正则表达式:正则表达式使用单个字符串来描述.匹配一系列符合某个句法规则的字符串.在很多文本编辑器里,正则表达式通常被用来检索.替换那些符合某个模式的文本. 作用:用一些特殊的字符来描述一个模式 正则是用于对文件中的内容进行过滤和匹配 通配符用于对文件名进行匹配 注意:在匹配模式中一定要加上引号 二.符号: ^           以开头 $           以结尾 ^12$     以1开头以2结尾 ^$         空行 .    

项目上线后经常出现需要统计用户数据.接口请求等.完美的情况下,在项目开始前就设计好哪些request.中间过程需要落地到db.或以一定格式存入专门的log中,但也常需要同学们临时去业务日志中grep 大致分为三步:找到包含数据的行.提取出行中需要的数据.输出到文件并提取到本地 实践中用到的一种方式: }' > machine1_userId_2017-09-04.log 用到的命令: zcat:就是查看压缩文件的内容,如果日志未压缩,直接cat也行 grep:找到包含数据的行 awk:用法为 a

Linux命令总结 man ==命令帮助; help ==命令的帮助(bash的内置命令); ls ==list,查看目录列表; -ld:查看目录权限; -l:(long)长格式显示属性; -F:给不同的文件类型结尾加标识 -p:给目录加斜线 -r:(reverse)反转排序 -t:按时间排序 --color=auto 给输出的不同类型文件加不同颜色 -a:显示隐藏文件 ls -l --time-style=long-iso,显示友好的长格式时间 例子: [root@server oldboy]

1 Linux命令总结 2 3 man ==命令帮助; 4 help ==命令的帮助(bash的内置命令); 5 ls ==list,查看目录列表; 6 -ld:查看目录权限; 7 -l:(long)长格式显示属性; 8 -F:给不同的文件类型结尾加标识 9 -p:给目录加斜线 10 -r:(reverse)反转排序 11 -t:按时间排序 12 --color=auto 给输出的不同类型文件加不同颜色 13 -a:显示隐藏文件 14 ls -l --time-style=long-iso,显示

Linux 正则表达式与文本处理器 三剑客 一.正则表达式 正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法.或者说:正则就是用来描述一类事物的规则. 在linux中,通配符是由shell解释的,而正则表达式则是由命令解释的,下面我们就为大家介绍三种文本处理工具/命令:grep.sed.awk,它们三者均可以解释正则. 正则介绍: ^行首$行尾.除了换行符以外的任意单个字符.*所有字符*:左边的那一个字符有0个到无穷个+:左边的那一个字符有1个到无穷个?:左

time awk '{a[$1]++}END{for(i in a){printf("%d\t%s\n",a[i],i)}}' access.log | sort -nr | head -5 $ cat aa00:0100:0100:0100:0200:0300:0500:0500:0500:05 $ cat aa |awk '{a[$1]+=1;}END{for(i in a){print a[i]" "i;}}'3 00:011 00:021 00:034 00

实例cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100 统计文件中出现次数最多的前10个单词 使用linux命令或者shell实现:文件words存放英文单词,格式为每行一个英文单词(单词可以重复),统计这个文件中出现次数最多的前10个单词. cat words.txt | sort | uniq -c | sort -k1,1nr | head -10 主要考察对sort.uniq命令

知识点: 1)数组 数组是用来存储一系列值的变量,可通过索引来访问数组的值. Awk中数组称为关联数组,因为它的下标(索引)可以是数字也可以是字符串. 下标通常称为键,数组元素的键和值存储在Awk程序内部的一个表中,该表采用散列算法,因此数组元素是随机排序. 数组格式:array[index]=value 1.Nginx日志分析 日志格式:'$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_