大二暑假第五周总结--开始学习Hadoop基础（四）

　　简单学习MapReduce并进行WordCount实践

　　分布式并行编程：

　　MapReduce设计的一个理念就是“计算向数据靠拢”，将复杂的，运行于大规模集群上的并行计算过程高度地抽象到两个函数：Map和Reduce，框架采用Master/Slave架构，包括一个Master和若干个Slave，Master上运行JobTracker，Slave上运行TaskTracker，Hadoop框架是用Java实现的，但是MapReduce应用程序则不一定要用Java来写。

　　MapReduce体系结构主要是由四个部分组成，分别是：Client，JobTracker，TaskTracker以及Task

　　（1）Client

• 用户编写的MapReduce程序通过Client提交到JobTracker端
• 用户可以通过Client提供的一些借口查看作业运行状态

　　（2）JobTracker

• JobTracker负责资源监控和作业调度
• JobTracker监控所有TaskTracker与Job的健康状况，一旦发现失败，就将相应的任务转移到其他节点
• JobTracker会跟踪任务的执行进度，资源使用量等信息，并将这些信息告诉任务调度器（TaskTracker），而调度器会在资源出现空闲时，选择合适的任务去使用这些资源

　　（3）TaskTracker

• TaskTracker会周期性通过“心跳”将本节点资源的使用情况和任务的运行进度汇报给JobTracker，同时接受JobTracker发送过来的命令并执行相应的操作（比如启动新任务，杀死任务）
• TaskTracker使用“slot”等量划分本节点上的资源量（CPU，内存等），一个Task获取到一个slot后才有机会运行，而Hadoop调度器的作用就是各个TaskTracker上空闲slot分配给Task使用，slot分为Map slot和Reduce slot两种，分别功MapTask和Reduce Task使用

　　（4）Task

• Task 分为Map Task和Reduce Task两种，均有TaskTracker启动

　　MapReduce工作流程

• 不同的Map任务之间不会进行通信
• 不同的Reduce任务之间也不会发生任何信息交换
• 用户不能显式地从一台机器先另一台机器发送消息
• 所有的数据交换都是通过MapReduce框架自身去实现的

关于split（分片）

　　HDFS以固定大小的block为基本单位储存数据，而对于MapReduce而言，七处理单位是split。split是一个逻辑概念，它只包括一些元数据信息，比如数据起始位置，数据长度，数据所在节点等。它的划分方法完全由用户自己决定。

　　Map任务的数量：Hadoop为每个split创建一个map任务，split的多少决定了Ma任务多的数量，大多数情况下，理想的分片大小是一个HDFS块。

　　Reduce任务的数量：最优的Reduce任务个数取决于集群中可用的Reduce任务槽（slot）的数目，通常设置比reduce任务槽数目稍微小一些的Reduce任务个数（这样可以预留一些系统资源处理可能发生的错误）

　　Shuffle过程：

　　Map端的Shuffle过程：

• 每个Maori任务分配一个缓存
• MapReduce默认100缓存
• 设置溢写比例0.8
• 分区默认采用哈希函数
• 排序是默认的操作
• 排序后可以合并
• 合并不能改变最终结果
• 在Map任务全部结束之前进行归并
• 归并得到一个大的文件，放在本地磁盘
• 文件归并时，如果溢写文件数量大于预定值（默认是3）则可以再次启动Combinner，少于3不需要
• JobTracker会一直检测Map任务的执行，并通知Reduce任务来领取任务

　　合并（Combine）和归并（Merge）的区别：

两个键值对<"a",1>和<"a",1>,如果合并，会得到<"a",2>,如果归并，会得到<"a",<1,1>>

　　MapReduce应用程序执行过程：

　　WordCount程序

　　参考连接：http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/（在设置方面相同）

　　　　　　　https://www.cnblogs.com/zimo-jing/p/8624731.html（代码部分）

　　首先我们现需要向DFS上传一个文件作为文档来进行词频统计

上传文件之后开始，参考第一个链接完成相关设置，编写代码：

package org.apache.hadoop.example;

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

@SuppressWarnings("unused")
public class WordCount {

    public static class TokenizerMapper extends
            Mapper<Object, Text, Text, IntWritable>
//            为什么这里k1要用Object、Text、IntWritable等，而不是java的string啊、int啊类型，当然，你可以用其他的，这样用的好处是，因为它里面实现了序列化和反序列化。
//            可以让在节点间传输和通信效率更高。这就为什么hadoop本身的机制类型的诞生。

            //这个Mapper类是一个泛型类型，它有四个形参类型，分别指定map函数的输入键、输入值、输出键、输出值的类型。hadoop没有直接使用Java内嵌的类型，而是自己开发了一套可以优化网络序列化传输的基本类型。
            //这些类型都在org.apache.hadoop.io包中。
            //比如这个例子中的Object类型，适用于字段需要使用多种类型的时候，Text类型相当于Java中的String类型，IntWritable类型相当于Java中的Integer类型
            {
            //定义两个变量或者说是定义两个对象，叫法都可以
        private final static IntWritable one = new IntWritable(1);//这个1表示每个单词出现一次，map的输出value就是1.
                                    //因为，v1是单词出现次数，直接对one赋值为1
        private Text word = new Text();

        public void map(Object key, Text value, Context context)
        //context它是mapper的一个内部类，简单的说顶级接口是为了在map或是reduce任务中跟踪task的状态，很自然的MapContext就是记录了map执行的上下文，在mapper类中，这个context可以存储一些job conf的信息，比如job运行时参数等，
        //我们可以在map函数中处理这个信息，这也是Hadoop中参数传递中一个很经典的例子，同时context作为了map和reduce执行中各个函数的一个桥梁，这个设计和Java web中的session对象、application对象很相似
        //简单的说context对象保存了作业运行的上下文信息，比如：作业配置信息、InputSplit信息、任务ID等
        //我们这里最直观的就是主要用到context的write方法。
        //说白了，context起到的是连接map和reduce的桥梁。起到上下文的作用！

                throws IOException, InterruptedException {
            //The tokenizer uses the default delimiter set, which is " \t\n\r": the space character, the tab character, the newline character, the carriage-return character
            StringTokenizer itr = new StringTokenizer(value.toString());//将Text类型的value转化成字符串类型

            //使用StringTokenizer类将字符串“hello,java,delphi,asp,PHP”分解为单个单词
//            程序的运行结果为:
//                  hello
//                  java
//                  delphi
//                  asp
//                  php

            while (itr.hasMoreTokens()) {
//                实际上就是java.util.StringTokenizer.hasMoreTokens()
//                hasMoreTokens() 方法是用来测试是否有此标记生成器的字符串可用更多的标记。
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends
            Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();
        public void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            //我们这里最直观的就是主要用到context的write方法。
            //说白了，context起到的是连接map和reduce的桥梁。起到上下文的作用！

            int sum = 0;
            for (IntWritable val : values) {//叫做增强的for循环，也叫for星型循环
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();//程序里，只需写这么一句话，就会加载到hadoop的配置文件了
        //Configuration类代表作业的配置，该类会加载mapred-site.xml、hdfs-site.xml、core-site.xml等配置文件。

        //删除已经存在的输出目录
        Path mypath = new Path("hdfs://Centpy:9000/output");//输出路径
        FileSystem hdfs = mypath.getFileSystem(conf);//程序里，只需写这么一句话，就可以获取到文件系统了。
        //FileSystem里面包括很多系统，不局限于hdfs，是因为，程序读到conf，哦，原来是hadoop集群啊。这时，才认知到是hdfs

        //如果文件系统中存在这个输出路径，则删除掉，保证输出目录不能提前存在。
        if (hdfs.isDirectory(mypath)) {
            hdfs.delete(mypath, true);
        }

        //job对象指定了作业执行规范，可以用它来控制整个作业的运行。
        Job job = Job.getInstance();// new Job(conf, "word count");
        job.setJarByClass(WordCount.class);//我们在hadoop集群上运行作业的时候，要把代码打包成一个jar文件，然后把这个文件
        //传到集群上，然后通过命令来执行这个作业，但是命令中不必指定JAR文件的名称，在这条命令中通过job对象的setJarByClass（）中传递一个主类就行，hadoop会通过这个主类来查找包含它的JAR文件。

        job.setMapperClass(TokenizerMapper.class);
        //job.setReducerClass(IntSumReducer.class);
        job.setCombinerClass(IntSumReducer.class);//Combiner最终不能影响reduce输出的结果
//                                这句话要好好理解!!!

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        //一般情况下mapper和reducer的输出的数据类型是一样的，所以我们用上面两条命令就行，如果不一样，我们就可以用下面两条命令单独指定mapper的输出key、value的数据类型
        //job.setMapOutputKeyClass(Text.class);
        //job.setMapOutputValueClass(IntWritable.class);
        //hadoop默认的是TextInputFormat和TextOutputFormat,所以说我们这里可以不用配置。
        //job.setInputFormatClass(TextInputFormat.class);
        //job.setOutputFormatClass(TextOutputFormat.class);

        FileInputFormat.addInputPath(job, new Path(
                "hdfs://Centpy:9000/input/log.txt"));//FileInputFormat.addInputPath（）指定的这个路径可以是单个文件、一个目录或符合特定文件模式的一系列文件。
        //从方法名称可以看出，可以通过多次调用这个方法来实现多路径的输入。
        FileOutputFormat.setOutputPath(job, new Path(
                "hdfs://Centpy:9000/output"));//只能有一个输出路径，该路径指定的就是reduce函数输出文件的写入目录。
        //特别注意：输出目录不能提前存在，否则hadoop会报错并拒绝执行作业，这样做的目的是防止数据丢失，因为长时间运行的作业如果结果被意外覆盖掉，那肯定不是我们想要的
        System.exit(job.waitForCompletion(true) ? 0 : 1);
        //使用job.waitForCompletion（）提交作业并等待执行完成，该方法返回一个boolean值，表示执行成功或者失败，这个布尔值被转换成程序退出代码0或1，该布尔参数还是一个详细标识，所以作业会把进度写到控制台。
        //waitForCompletion(）提交作业后，每秒会轮询作业的进度，如果发现和上次报告后有改变，就把进度报告到控制台，作业完成后，如果成功就显示作业计数器，如果失败则把导致作业失败的错误输出到控制台
    }
}

//TextInputFormat是hadoop默认的输入格式，这个类继承自FileInputFormat,使用这种输入格式，每个文件都会单独作为Map的输入，每行数据都会生成一条记录，每条记录会表示成<key，value>的形式。
//key的值是每条数据记录在数据分片中的字节偏移量，数据类型是LongWritable.
//value的值为每行的内容，数据类型为Text。
//
//实际上InputFormat（）是用来生成可供Map处理的<key，value>的。
//InputSplit是hadoop中用来把输入数据传送给每个单独的Map(也就是我们常说的一个split对应一个Map),
//InputSplit存储的并非数据本身，而是一个分片长度和一个记录数据位置的数组。
//生成InputSplit的方法可以通过InputFormat（）来设置。
//当数据传给Map时，Map会将输入分片传送给InputFormat（），InputFormat()则调用getRecordReader()生成RecordReader,RecordReader则再通过creatKey()和creatValue()创建可供Map处理的<key，value>对。
//
//OutputFormat()
//默认的输出格式为TextOutputFormat。它和默认输入格式类似，会将每条记录以一行的形式存入文本文件。它的键和值可以是任意形式的，因为程序内部会调用toString()将键和值转化为String类型再输出。

运行之后得到，刷新DFS得到下图：

打开文档：