第一个AWK程序的尝试

为了统计API的访问，需要读取8个G的数据，所以学习了下文本处理神器，AWK。简单实例如下：

# 以\t分割的文本

awk -F "\t" '
//获取小时的函数
function getHours(times){
    split (times, t, ":");
    return t[];
}
//awk 可分为三个部分: 
//中间部分 {} ,表示对每行的处理， 
//BEGIN 表示每行处理之前的预处理， 
//END 表示逐行处理之后的最终处理
// 三个部门并不需要同时存在，但中间逐行处理肯定是需要的。

BEGIN{
    tilte_cnt = ;
}
{
// $1 表示，每行按照\t分割后，获取的第一个字串
    h = int(getHours($));

    flag = ;
// 中间可以有for循环，数组等。
// 二维数组可以用 a[xx,xx]表示，实现是通过建立xx,xx的哈希实现的，并不是真正的二维数组
    for(i = ; i < title_cnt; i ++){
        if (title[i] == $){
            tmp[h,i] += ;
            flag = ;
            break;
        }
    }

    if ( == flag){
        title[title_cnt] = $;
        for (i = ; i < ; i++)
        {
            tmp[i,title_cnt] = ;
        }
        tmp[h,title_cnt] = ;
        ++title_cnt;
    }
}END{
    iter = ;
// 有很多类C函数
    printf("%s,", "api");
    for (i = ; i < ;i++){
        printf("%d,", i);
    }
    printf("\n");
    for (i = ; i < title_cnt; i++){
        printf("%s,", title[i]);
        for (j = ; j < ; j++){
            printf("%d,", tmp[j,i]);
        }
        printf("\n");
    }
}
' api_log.res > api.analysis 
# 重定向到api.analysis 中