awk 留底
属性 | 描述 |
---|---|
NR | 已读入的总记录数 |
ARGIND | 当前被处理参数标志 |
FILENAME | 当前输入文件名 |
FS | 输入域分隔符,默认为一个空格 |
RS | 输入记录分隔符 |
NF | 当前记录里域个数 |
SUBSEP | 下标分隔符 "\034" |


array[index] = value :数组名array,下标index以及相应的值value。
<2>读取数组值
{ for (item in array) print array[item]} # 输出的顺序是随机的
{for(i=;i<=len;i++) print array[i]} # Len 是数组的长度
<3>多维数组,array[index1,index2,……]:SUBSEP是数组下标分割符,默认为“\034”。可以事先设定SUBSEP,也可以直接在SUBSEP的位置输入你要用的分隔符,如:
awk 'BEGIN{SUBSEP=":";array["a","b"]=1;for(i in array) print i}'
a:b
awk 'BEGIN{array["a"":""b"]=1;for(i in array) print i}'
a:b
但,有些特殊情况需要避免,如:
awk 'BEGIN{
SUBSEP=":"
array["a","b:c"]= # 下标为“a:b:c”
array["a:b","c"]= #下标同样是“a:b:c”
for (i in array) print i,array[i]}'
a:b:c #所以数组元素只有一个。
<4>删除数组或数组元素: 使用delete 函数
delete array #删除整个数组
delete array[item] # 删除某个数组元素(item)
<5> 排序:awk中的asort函数可以实现对数组的值进行排序,不过排序之后的数组下标改为从1到数组的长度。在gawk 3.1.2以后的版本还提供了一个asorti函数,这个函数不是依据关联数组的值,而是依据关联数组的下标排序,即asorti(array)以后,仍会用数字(1到数组长度)来作为下标,但是array的数组值变为排序后的原来的下标,除非你指定另一个参数如:asorti(a,b)。
echo 'aa
bb
aa
bb
cc' |\
awk '{a[$0]++}END{l=asorti(a);for(i=1;i<=l;i++)print a[i]}'
aa
bb
cc echo 'aa
bb
aa
bb
cc' |\
awk '{a[$0]++}END{l=asorti(a,b);for(i=1;i<=l;i++)print b[i],a[b[i]]}'
aa
bb
cc
属性 | 描述 |
---|---|
asort | asort对数组进行排序,返回数组长度 |
BEGIN{
today = strftime("%Y-%m-%d-%H", systime());
}
FILENAME == ARGV[]{ # 第一个文件 旧记录
old_user[$] = $;
}
FILENAME == ARGV[]{ # 第二个文件 新纪录
new_user[$] = $;
}
END{
log_info = "";
log_file = log_dir"user_log_info.log."today"";
for(old_uid in old_user){
if(new_user[old_uid] == ""){
log_info = log_info"leave user:"old_user[old_uid]"\n";
delete new_user[new_uid];
}
} for(new_uid in new_user){
if(old_user[new_uid] == ""){
log_info = log_info"add user:"new_user[new_uid]"\n";
delete old_user[new_uid];
}
} log_info = log_info"old count:"asort(old_user)";new count:"asort(new_user);
system(" echo '"log_info"' > "log_file);
}
分析日志shell脚本(test_log_info.sh)
#!/bin/bash yesterday(){
yy=`date +%Y` #Year yyyy
mm=`date +%m` #Month mm
dd=`date +%d` #Day dd
if [ $dd = "" ]
then
lm=`expr $mm - `
if [ $lm -eq ]
then
lm=
yy=`expr $yy - `
fi
echo lm=$lm
case $lm in
||||||) Yesterday= ;;
|||) Yesterday= ;;
)
if [ ` expr $yy % ` -eq -a `expr $yy % ` -ne -o ` expr $yy % ` -eq ]
then Yesterday=
else Yesterday=
fi ;; esac
mm=$lm
Yesterday=$Yesterday
else
Yesterday=`expr $dd - `
fi case $Yesterday
in ||||||||) Yesterday=''$Yesterday
esac
case $mm in
||||||||) mm=''$mm ;;
esac Yesterday=$yy"-"$mm"-"$Yesterday"-05"
}
yesterday
Today=`date "+%Y-%m-%d-05"`
TEMP_DIR="/home/rd/zhoubc/bak/" awk -v "log_dir="$TEMP_DIR -f test_log_info.awk $BAKDIR""test2.conf.""$Yesterday $BAKDIR""test2.conf.""$Today
调用嵌套的shell文件(test_send.sh)
#!/bin/bash
BAKDIR='/home/crontab/send_user/bak/' source test_log_info.sh
调用:
几个技术点:
shell脚本套用(source)——这样可以公用变量
source test_log_info.sh
awk多文件分别处理:
FILENAME == ARGV[1]{}
FILENAME == ARGV[2]{}
325 20 230 4918 4 1 64 0 0 64.72 36.9 25 26
803 25 33 249 4 0 74 0 0 4.0 3.5 3 2
841 0 566 8624 11 21 269 1 0 527.57 415.6 1331 825
858 8 498 11569 21 17 477 1 0 1386.29 913.87 2787 2982
1004 6 221 3222 15 7 176 1 0 900.28 673.36 712 458
相关代码:
# $11 是月日均pv量
function ceil(x){
y = int(x);
return (x > y ? y + 1 : y)
}
# 取中位数
function get_median(arr){
len = asort(arr);
#for(i = 1; i <= len; i++) {
# printf("%d\t", arr[i]);
#}
#printf("\n"); mid = ceil(len/ 2);
if(len%2 == 0){
return ceil((arr[mid] + arr[mid + 1]) / 2);
}
#printf("mid=%d\n", mid);
return arr[mid];
} BEGIN{
}
{
if(!($2 in cardTypeTree)){
cardTypeTree[$2] = $11;
} else {
cardTypeTree[$2] = cardTypeTree[$2]"_"$11;
}
}
END{
system("rm -f ./parseType.txt")
for(key in cardTypeTree){
split(cardTypeTree[key], array, "_")
printf("%-10s\t%d\t%-10s\n", key, length(array), get_median(array))
system("echo '"key"\t"length(array)"\t"get_median(array)"' >> ./parseType.txt")
}
}
执行结果如下:


awk 留底的更多相关文章
- awk命令简介
awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各 ...
- awk使用说明
原文地址:http://www.cnblogs.com/verrion/p/awk_usage.html Awk使用说明 运维必须掌握的三剑客工具:grep(文件内容过滤器),sed(数据流处理器), ...
- awk应用
h3 { color: rgb(255, 255, 255); background-color: rgb(30,144,255); padding: 3px; margin: 10px 0px } ...
- 3.awk数组详解及企业实战案例
awk数组详解及企业实战案例 3.打印数组: [root@nfs-server test]# awk 'BEGIN{array[1]="zhurui";array[2]=" ...
- shell——awk
awk -F"分隔符" "command" filename awk -F":" '{print $1}' /etc/passwd 字段引用 ...
- 【Linux】AWK入门
什么是AWK AWK是一种用于处理文本的编程语言工具,一个模式匹配程序.一个典型的示例是将数据转换成格式化的报告. 在命令行输入如下awk命令: awk -F":" '{ prin ...
- 基本shell编程【3】- 常用的工具awk\sed\sort\uniq\od
awk awk是个很好用的东西,大量使用在linux系统分析的结果展示处理上.并且可以使用管道, input | awk '' | output 1.首先要知道形式 awk 'command' fi ...
- sed awk grep三剑客常用
sed的常用用法: awk的常用用法: grep的常用用法: 除了列出符合行之外,并且列出后10行. grep -A 10 Exception kzfinance-front.log 除了列出符合行之 ...
- awk命令速查
awk与sed.grep一样都是为了加工数据流而做成的文本加工过滤器命令.awk会事先把输入的数据根据字段单位进行分割.在没有制定分割单位的情况下,以输入数据中的空格或Tab为分隔符.与sed相比,它 ...
随机推荐
- 【转载】 wpf无边框的方法以及拖拽的问题
今天在做wpf程序的时候遇到了一个制作无边框的窗体并且有透明圆角的问题,我把解决的过程写下来,和大家学习 正常窗体必须把WindowStyle="None"这个属性加上去,但是加上 ...
- Winform窗体最大化的时候,如何指定窗体的位置、大小
一.重写窗体的SizeChanged事件不能改变窗体最大化的位置和大小. public partial class Form2 : Form { public Form2() { Initialize ...
- java中的throw与throws的区别
什么时运行时异常?什么是非运行时异常? 通俗的讲: 运行时异常:就是编译通过,运行时就崩了,比如数组越界. 非运行时异常:就是编译不通过,这时就得必须去处理了.不然就没法运行了. 全面的讲: Thro ...
- apt28组织新的flash漏洞利用包dealerschoice分析
17号paloalto发布了文章dealerschoice-sofacys-flash-player-exploit-platform,文中提到apt28正在编写adobe flash player的 ...
- Redis——学习之路四(初识主从配置)
首先我们配置一台master服务器,两台slave服务器.master服务器配置就是默认配置 端口为6379,添加就一个密码CeshiPassword,然后启动master服务器. 两台slave服务 ...
- Shell scripts to Create a local dir base on the time.
#!/bin/bash DATETIME=`date +%Y%m%d%H%M%S` echo "datetime = $DATETIME" mkdir $DATETIME # cd ...
- 转载:安装ie driver和chrome driver
很多同学在使用webdriver的时候总是忘了安装ie driver和chrome driver, 因此在这里简单介绍一下这2个driver的安装方式. IE driver 在新版本的webdrive ...
- 如何让TortoiseSVN导出新增或修改过的文件
利用Windows系统下的TortoiseSVN客户端,可以导出指定版本之间修改过的文件,并保留完整的文件夹结构.下面我就来说说操作的步骤: 1.在网站项目的根目录下右键选择 “TortoiseSVN ...
- iis下搭建通过phpstudy集成的环境,phpmyadmin导入数据库无法应解决办法
本人非常喜欢phpstudy的集成php+mysql环境,一键搞定,但是不知道为什么搭建的phpmyadmin的数据库管理器,无法上传,点击无反应 发现上传数据的界面有点不同 正常情况下是这样的: 非 ...
- 关于H5填写信息类页面横向布局总结
接触h5已经有快一年了,因为一直偏向页面重构所以在页面布局方面也算是经历过风风雨雨.所以总结一下自己用过的方法来比较归纳 首先来说,H5的页面一般分为两种,一种是用来做市场营销的,主要特征是图多,页面 ...