巧用AWK处理二进制数据文件

AWK是Unix下的一款功能强大的文本格式化和抽取工具。利用这个工具，可以对复杂的文本文件进行整理，提取其中的全部或者部分数据，按照需要的格式予以显示。需要说明的是，AWK的强大功能只针对纯文本文件。对于带有很多不可显示字符的二进制数据文件，单凭AWK就无能为力了。这时我们需要其他工具的帮助。

在Unix下，还有一个工具叫做OD，其全称是“display files in octal format”，也就是说它能将各种文件以8进制的方式显示出来。如果设置不同的选项，它还能将文件以16进制方式显示。

此外为了方便处理，我们还需要用到另外一个工具,sed。这也是一个Unix下的传统文本处理工具。在这里我们主要用到它的文本替换功能。

通过组合以上三种工具，我们就可以完成我们用AWK处理二进制数据文件的任务了。

笔者手中有一个数据文件，FXT,其数据结构如表 1所示。

Table 1

起始位	长度	说明
0	8	账号
8	7	金额
15	3	操作员号

如果用普通的文本编辑器打开这个数据文件，看到是一串数字和一堆难以理解的字符。根本就无法分辨金额是多少。为了方便读者理解这个文件，我们用od来查看这个文件 (见List1)。

List 1

#　od　-An　-v　-tx1　FXT　
　　　　　32　35　38　35　36　30　30　39　00　00　05　00　00　00　0c　31　
　　　　　30　31　0a　32　35　38　30　30　32　33　34　90　20　20　80　20　
　　　　　20　0d　31　30　32　0a　…　

稍微解释一下Od的命令参数意义。-An表示不在每行左边显示偏移量；-v 表示每行都要显示；-tx1表示输出时以16进制方式输出，一次一个字节。

根据数据结构定义，我们可以看出前面8个字节（32 35 38 35 36 30 30 39）代表账号，而且账号部分是由可显示的ASCII码组成的，翻译后的结果就是25856009；接下来7个字节（00 00 05 00 00 00 0c）代表金额。最后的c代表credit，就是贷方的意思。它所代表的实际金额是500,000.00。紧接着的3个字节代表操作员号，也是由可显示的 ASCII码组成的。0a是换行符的ASCII代码，表示一条记录结束。

可以看出，正是由于金额部分是由不可显示的ASCII码组成，导致了无法用常规方法来提取数据文件中的数据。

那么应该如何利用以上的工具来处理这类数据文件，并且按照可以理解的方式来生成新的纯文本的数据文件呢？

OD 已经将整个数据文件清楚地显示出来了。它输出的格式不符合我们的要求。比如说，本来在一行的记录，先在给分成了几行；本来连在一起的字符，现在中间出现了空格。这样AWK就不好处理了。所以，为了使AWK能够方便的处理，我们在正式提取数据之前，必须生成AWK可以处理的中间文件。

从List1可以看出，OD在显示文件时，每一行前都有一个制表符，而且原来记录之间的换行符也变成了对应的ASCII码0a。那么我们的任务就要去掉制表符，而且要恢复正确的记录间的换行符。这一步可以通过以下命令完成。

#　od　-v　-An　-tx1　fxt　|sed　's/　　//'|sed　's/0a/,/'|awk　-f　org.awk　>fxt.a　
OD显示出的结果通过管道被送给sed。Sed将每行开头的制表符先去掉，然后将0a字符替换为逗号。然后交给org.awk做格式化处理。　
#　cat　org.awk　
BEGIN{　
ORS=""　
}　
{　
　for(i=1;i<17;i++)　
　　{　
　　if($i==",")　
　　　printf("\n");　
　　else　
　　　　printf("%s",　$i);}　
}

通过定义ORS=””，我们可以保证输出的每个字段之间没有分隔符。（ORS=Output Record Separator）。然后，检查每一行中是否存在逗号，如果有则输出一个换行符。这样我们就把od显示的结果转化成以下内容。

#　cat　fxt.a　
32353835363030390000050000000c313031　
32353830303233349020208020200d313032　

怎么样，这样的格式就顺眼多了吧。

生成了中间文件，下一步就应该做正式的数据提取工作了。在实际工作中，很可能原始数据文件中的数据结构和我们需要转换的目标数据结构不完全一致。这时除了提取数据，还要在输出格式上进行一番加工。例如以上的数据文件，如果要按照以下数据结构（Table 2）输出的话,那么就可以参照程序ck1.awk。

Table 2

起始位	长度	说明
0	12	账号
12	1	,
13	1	借贷标志，0表示贷，1表示借
14	1	,
15	14	金额
29	1	,
30	3	操作员号

#　cat　ck1.awk　
BEGIN{　
FS="\n";　}　
function　trans(s)　
{　
　if((a=substr(s,1,2)-30)<0)　
　　a=0;　
　for(i=3;i<length(s);i+=2)　
　{　
　if((b=substr(s,i,2)-30)<0)　
　　　b=0;　
　a=(a　b);　
　}　
　return　a;　
}　
{　
　actno=trans(substr($1,1,16));#帐号　
　amt=substr($1,17,13);#金额　
　cdflag=substr($1,30,1);　#借贷标志　
　if(cdflag=="d")　
　　　　cdflag=1;　
　if(cdflag=="c")　
　　　　cdflag=0;　
　oper=trans(substr($1,31,6));#操作员号　
　　printf("%-12s,%s,%014d,%s\n",　actno,cdflag,amt,oper);　
　}　

一个AWK程序分成三个部分，开始，中间处理和结束部分。开始部分用BEGIN{}表示，结束部分用END{}表示，而中间部分用{}围起来即可。BEGIN部分是在正式处理开始之前，做的一些准备工作。而END就是在全部记录都处理完毕之后，做的一些扫尾的工作。

大家可以看到，AWK的语法和C语言很相近，还可以定义函数。而事实上AWK的确在很多地方上都类似于C,所以对C语言有基础的读者应该很快就能掌握AWK的用法。

首先，在开始部分，我们将字段分隔符FS设为\n，就表示将一行作为一个字段来处理。

其次，我们定义了一个函数trans。其功能主要是将用ASCII码方式表示的数字字符给还原成正常的数字形式。数字0-9的ASCII码对应为 30-39。所以要将一个ASCII码转化成对应的数字，只要将该ASCII码减去30即可。例如1的ASCII码为31,那么31 - 30 =1 就很快得出了31所对应的数字。Trans函数正是应用了这一原理，将ASCII码转换成对应的数字，然后将这些数字连接起来，形成账号或者操作员号，返回给调用者。

在正式处理部分，我们大量的运用了substr函数。这是个内置函数，是用于提取字符串中的部分字符。要记住，通过OD的转换之后，我们这里用2位数字代表一个字节。所以账号虽然是8个字节，而我们提取时，要取16个字节。

此外，由于账号和操作员号现在是以ASCII方式表示，所以需要通过trans函数翻译一下。而金额部分由于是直接由16进制ASCII码值来表示了，反倒不用再翻译了。

输出时用到了printf函数。这个函数的用法和标准的C语言printf函数用法完全一样。根据输出数据结构的要求，printf对帐号和金额进行了修饰，使得帐号左对齐且长度为12个字节，用空格对后面不足部分进行填充；而金额部分用前导零填充。

执行以上程序，就得到了我们想要的结果。

#　awk　-f　ck1.awk　fxt.a　
25856009　　,0,00000050000000,101　
25800234　　,1,00000208020200,102