数据处理框架:Pig

Pig

1. pig 是基于hadoop的一个数据处理框架.
2. MapReduce是使用java开发的。Pig有一套自己的数据处理语言。Pig的数据处理过程要转化为MR 来运行。
3. Pig的数据处理语言是数据流方式，类似于初中的数学题，需要一步一步解，最终得到结果。
4. Pig基本数据类型：int、long、float、double、chararray、bytearray
   
   复合数据类型：Map、Tuple(类似于数组)、Bag(类似数据字典)
   
   Bag的数据类型如：{(‘age’,31),(‘name’,’张三’)}

如何安装pig:

1.把pig-0.11.1.tar.gz复制到/usr/local下

2．使用命令tar -zxvf pig-0.11.1.tar.gz解压缩

3.使用命令mv pig-0.11.1 pig 进行重命名

4. 编辑文件vi /etc/profile 设置环境变量

 export $PIG_HOME=/usr/local/bin
 export PATH =......$PIG_HOME/bin....

保存，然后执行source /etc/profile

5. 编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容

fs.default.name=hdfs://hadoop:9000

mapred.job.tracker=hadoop:9001

pig是基于hadoop框架的数据处理框架，所以需要跟hadoop 关联起来，上边的配置主要针对的是Namenode 和 JobTracker

如何使用pig：

对wlan数据如何使用pig进行分析处理

1. 把待处理的数据上传到HDFS中

2. 把HDFS中的数据转换为pig可以处理的模式

按照以下图里的格式进行转化：

A = LOAD ‘/wlan’ AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray, t5:chararray, t6:long, t7:long, t8:long, t9:long, t10:chararray);

A是别名 ，方便引用。

如何查看是否加载进去？

DUMP A ;

3.把里面的有用的字段抽取出来

B = FOREACH A GENERATE msisdn, t6, t7, t8, t9;

Pig是一步一步来的，如果业务比较复杂，通过sql无法一步解决，用pig非常方便。

DUMP B;



4.分组数据

C = GROUP B BY msisdn;

因为有的手机号有重复，所以我们根据手机号进行分组。

DUMP C;

5．流量汇总

D = FOREACH C GENERATE group, SUM(B.t6), SUM(B.t7), SUM(B.t8), SUM(B.t9);

分组之后的名字，当我们就叫group.

DUMP D;



6.结果在pig中， 存储到HDFS中

STORE D INTO ‘/wlan_result’;



7.进入hdfs进行查看，是否保存到这里。

其中有一个文件是不为空，查看该文件是否是我们刚才在pig 里的处理结果。

我们还可以使用pig对处理结果进行排序

E = ORDER D BY group ;

DUMP E ;

Pig 还有很多用法，具体可以参看官方文档。