Hadoop - 国内各站点最高温度、气压和风速统计

版权说明：  本文章版权归本人及博客园共同所有，转载请标明原文出处(http://www.cnblogs.com/mikevictor07/)，以下内容为个人理解，仅供参考。

一、简介

该实例统计国内各个站点的最高温度(为节省篇幅只以温度为例，可稍作修改即可统计气压与风速)，数据来源于汇总在NCDC的天气气球数据集中(包含世界大量数据集，该实例只分析国内站点，数据对外公开，可下载)。

二、数据准备与预处理

从NCDC下载的天气气球数据集(ftp://ftp.ncdc.noaa.gov/pub/data/igra或http://www1.ncdc.noaa.gov/pub/data/igra/ , 压缩为gz包)如下，可见并不适合Hadoop的MR模块处理，需要进行预处理(本例下载数据gz包总大小为293MB，解压缩后为1.43GB):

#5928719630901009999   5
10 85000  1481B  202B-9999  190   20
10 70000  3139B  142B-9999  180   20
10 50000  5880B  -55B-9999   60   30
10 40000  7605B -142B-9999  100   40
10 30000  9750B -255B-9999  100   70
#5928719630901129999   7
10 85000  1481B  215B-9999  320   20
10 70000  3142B  132B-9999  300   10
10 50000  5889B  -35B-9999   50   30
10 40000  7620B -125B-9999  100   40
10 30000  9759B -275B-9999   70   60
10 20000 12561B -482B-9999   90  110
10 10000 16788B -785B-9999   90  100

首先需要阅读下载相关目录的readme.txt，才能站点相关字段的含义，温度数据已经*10(为了保留一位小数)：

以该数据为例(其中的 9999一般代表数据缺失)：

#5052719630901009999 5
10 85000 1314B 68B-9999-9999-9999

数据头部
标识	站点编号	日期	观察起始时间	观察结束时间	记录数
#	50527	19630901	00	9999	5

数据记录
Major Level	Minor Level	气压(Pa)3-8	气压标识	位势高度(米)10-14	位势高度标识	温度*10(16- 20位)	温度标识	露点下降	风力方向	风速(m/s)
1	0	85000	空格	1314	B	68	B	-9999	-9999	-9999

由于MapReduce一行行处理数据，而该数据记录部分依赖于数据头部，MR对数据进行分区时对它们分开的可能性非常大，所以每条数据记录部分必须加上头部的部分信息(根据需要确定)，即预处理，对数据预处理的结果可输出到本地，然后再拷贝至HDFS。

在本例中，数据头部只关注<站点编号>、<日期>，数据头部与数据记录形成的新格式如下：

预处理后的数据格式

505271963090110 85000  1314B   68B-9999-9999-9999

站点编号

日期

Major Level

Minor Level

气压(Pa)

气压标识

位势高度(米)10-14位

位势高度标识

温度*10

温度标识

露点下降

风力方向

风速(m/s)

50527

19630901

1

0

85000

空格

1314

B

68

B

-9999

-9999

-9999

即如下面格式的新格式：

592871963090110 85000  1481B  202B-9999  190   20
592871963090110 70000  3139B  142B-9999  180   20
592871963090110 50000  5880B  -55B-9999   60   30

三、数据拷贝至HDFS

数据从本地拷贝至HDFS可以通过编码，也可使用eclipse的hadoop插件进行(该插件目前一般需要根据自己的环境编译得到jar放入eclipse的plugins文件夹下，过程稍微繁琐)，

当然也可以使用bin/hadoop工具copyFromLocal进行(不过需要先复制到集群中的任意一台机器)，本例中把数据存放在HDFS的 /weatherballoon 目录下，以下代码可供参考:

core-site.xml:不同的配置文件方便本地测试和集群切换，在MR程序调试的时候很有用

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://hbase-01:9000</value>
     </property>
</configuration>

public class CopyFromLocalMain {

    private static Configuration config = new Configuration();

    public static void main(String[] args) throws Exception {
        config.addResource("core-site.xml");
        File inputDir = new File("d:/weatherballoon/input/");
        String hdfsDir = "/weatherballoon/input/";

        if (!inputDir.exists()) {
            System.err.println(inputDir.getAbsolutePath() + " directory not exist .");
            System.exit(-1);
        }
        File[] files = inputDir.listFiles();
        if (files == null) {
            System.err.println(inputDir.getAbsolutePath() + " directory is empty .");
            System.exit(-1);
        }

        for (File file : files) {
            copyFileToHdfs(file, hdfsDir + file.getName());
        }
        System.out.println("Copy finished, total: " + files.length);
    }
    public static void copyFileToHdfs(File local,String dest) throws IOException{
        InputStream in = new BufferedInputStream(new FileInputStream(local));
        FileSystem fs = FileSystem.get(config);
        FSDataOutputStream out = fs.create(new Path(dest));
        IOUtils.copyBytes(in, out, 4096, true);
        out.close();
    }
}

数据拷贝完毕后可访问HDFS的namenode查看状态(默认50070端口)，本例状态如下图：

四、编写MapReduce程序

目前的数据格式已经每行之间无依赖性，首先编辑Mapper部分，该部分用于把站点ID作为key的数据集存入OutputCollector中：

public class MaxTemperatureMapper
    extends MapReduceBase implements Mapper<LongWritable, Text, Text, RecordValue>{

    public static final int DATA_LENGTH = 49; //预处理后的数据行长度

    @Override
    public void map(LongWritable key, Text value,
            OutputCollector<Text, RecordValue> output, Reporter reporter) throws IOException {

        //505271963090110 85000  1314B   68B-9999-9999-9999
        String line = value.toString();
        if (line.length() != DATA_LENGTH) {
            System.out.println("------------->Error record : " + line);
            return;
        }

        String stationId = line.substring(0, 5);
        String date = line.substring(5, 13);
        String temp = line.substring(28, 33);
        if (!missing(temp)) {
            int temperature = Integer.parseInt(temp.trim());
            output.collect(new Text(stationId), new RecordValue(date, temperature));
        }
    }

    private boolean missing(String temp) {
        return temp.equals("-9999");
    }

}

Mapper中输出的Value值为自定义的类型（即RecordValue），因为需要同时记录日期和温度，如果要自定义类型，则必须实现Writable（如Hadoop自带的LongWritable,IntWritable,Text等）。

实现该接口使得对象能够序列化在不同机器间传输（进程间采用RPC通信，Hadoop采用Avro序列化，其他比较流行的序列化框架有Apache Thrift和Google protocol buffers），

一般建议实现WritableComparable接口，该接口中有个compareTo 方法的实现对于MapReduce来说是比较重要的，用于基于键的中间结果排序。

也可以实现RawComparator ,即可在字节流中排序，而不需要反序列化，减小额外开销。

RecordValue的实现如下：

public class RecordValue implements WritableComparable<RecordValue>{

    private String date;
    private int temperature;

    public RecordValue(){}
    public RecordValue(String date, int temperature) {
        this.date = date;
        this.temperature = temperature;
    }
    @Override
    public void write(DataOutput out) throws IOException {
        out.write(date.getBytes());
        out.writeInt(temperature);
    }
    @Override
    public void readFields(DataInput in) throws IOException {
        byte[] buff = new byte[8];
        in.readFully(buff);
        date = new String(buff);
        temperature = in.readInt();
    }
    @Override
    public int compareTo(RecordValue o) {
        if (date.compareTo(o.getDate()) > 0 || temperature > o.getTemperature()) {
            return 1;
        }
        return -1;
    }
    @Override
    public String toString() {
        return " -- " + date + "," + temperature;
    }

    //省略setter getter
}

Mapper部分需要做单元测试，成功后接下面编写Reducer部分：

public class MaxTemperatureReducer extends MapReduceBase implements
        Reducer<Text, RecordValue, Text, RecordValue> {

    @Override
    public void reduce(Text key, Iterator<RecordValue> values,
            OutputCollector<Text, RecordValue> output, Reporter reporter)
            throws IOException {

        int maxValue = Integer.MIN_VALUE;
        String date = "00000000";
        while (values.hasNext()) {
            RecordValue record = values.next();
            int temp = record.getTemperature();
            if (temp > maxValue) {
                maxValue = temp;
                date = record.getDate();
            }
        }
        output.collect(key, new RecordValue(date, maxValue));
    }

}

当Reduce部分单元测试成功后即可编写驱动程序MaxTemperatureDriver，先用本地小数据集进行测试，配置文件切换为本地配置,如：

public static void main(String[] args) throws IOException {

        String inputPath = "file:///d:/weatherballoon/input/*";
        String outputPath = "file:///d:/weatherballoon/output";

        File out = new File("d:/weatherballoon/output");
        if (out.exists()) {
            FileUtils.forceDelete(out); //采用apache common io包
        }

        Configuration conf = new Configuration();
        conf.addResource("core-site-local.xml");

        JobConf job = new JobConf(conf);
        job.setJobName("Max Temperature(NCDC)");
        job.setMapperClass(MaxTemperatureMapper.class);
        job.setReducerClass(MaxTemperatureReducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(RecordValue.class);

        FileInputFormat.addInputPath(job, new Path(inputPath));
        FileOutputFormat.setOutputPath(job, new Path(outputPath));
        JobClient.runJob(job);
    }

运行程序，如果出错则在本地容易查出错误地方，查看输出结构是否如何预期，下面是本例小部分数据集的输出结果：

50527 -- 20040721,358
50557 -- 20100627,342
50603 -- 19730409,440

温度已经乘以10，故对应的结果如下表格：

站点ID	日期	温度(摄氏度)
50527	20040721	35.8
50557	20100627	34.2
50603	19730409	44.0

五、集群运行

测试成功后可切换至集群运行，更改MaxTemperatureDriver的main，如下：

public static void main(String[] args) throws IOException {

        String inputPath = "/weatherballoon/input/";
        String outputPath = "/weatherballoon/output";

        Configuration conf = new Configuration();

        JobConf job = new JobConf(conf);
        job.setJobName("Max Temperature(NCDC)");
        job.setMapperClass(MaxTemperatureMapper.class);
        job.setReducerClass(MaxTemperatureReducer.class);
        job.setJarByClass(MaxTemperatureDriver.class); //!important

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(RecordValue.class);

        FileInputFormat.addInputPath(job, new Path(inputPath));
        FileOutputFormat.setOutputPath(job, new Path(outputPath));
        JobClient.runJob(job);
    }

然后程序打包（编写MANIFEST.MF）：

Manifest-Version: 1.0
Class-Path: .
Main-Class: org.mike.hadoop.weatherballoon.MaxTemperatureDriver

eclipse->export->jar并选择MANIFEST.MF文件，把jar上传到集群任一节点，执行如下命令：

hadoop jar MaxTemperature.jar

运行如下图：

成功后即可从HDFS拷贝结果文件至本地查看（或者直接hadoop dfs -cat也可以），本例得到的结果如下（列出小部分）：

    -- ,
    -- ,
    -- ,
    -- ,
    -- ,
    -- ,
    -- ,
    -- ,
    -- ,
    -- ,
    -- ,

根据NCDN中igra-stations.txt文件得到对应的站点整理后如下：

站点ID	站点名称	日期	最高温度
50527	HAILAR	20040721	35.8
50557	NENJIANG	20100627	34.2
50603	CHIN-BARAG	19730409	44
50745	CHICHIHAR	19990413	38.6
50774	YICHUN	20100624	31.6
50834	TA KO TAI	19920428	42.6
50953	HARBIN	20010604	34.6
51076	ALTAY	19931031	50.6
51133	TA CHENG	19870716	60
51156	HOBOG SAIR	19860309	55.2
51232	BORDER STATION	19800802	22

Finished ..