spark 应用场景1-求年龄平均值

原文引自：http://blog.csdn.net/fengzhimohan/article/details/78535143　　

该案例中，我们将假设我们需要统计一个 10 万人口的所有人的平均年龄，当然如果您想测试 Spark 对于大数据的处理能力，您可以把人口数放的更大，比如 1 亿人口，当然这个取决于测试所用集群的存储容量。假设这些年龄信息都存储在一个文件里，并且该文件的格式如下，第一列是 ID，第二列是年龄。如下图格式：

以下利用java随机生成10万个人口年龄文件

 import java.io.File;
 import java.io.FileWriter;
 import java.io.IOException;
 import java.util.Random;

 /**
  * Created by Administrator on 2017/11/13.
  */
 public class DataFileGenerator {
     public static void main(String[] args){
         File file = new File("F:\\DataFile.txt");
         try {
             FileWriter fileWriter = new FileWriter(file);
             Random rand = new Random();
             for (int i=1;i<=100000;i++){
                 fileWriter.write(i +" " + (rand.nextInt(100)+1));
                 fileWriter.write(System.getProperty("line.separator"));
             }
             fileWriter.flush();
             fileWriter.close();

         }catch(IOException e){
             e.printStackTrace();
         }
     }
 }

场景分析：

要计算平均年龄，那么首先需要对源文件对应的 RDD 进行处理，也就是将它转化成一个只包含年龄信息的 RDD，其次是计算元素个数即为总人数，然后是把所有年龄数加起来，最后平均年龄=总年龄/人数。 
对于第一步我们需要使用 map 算子把源文件对应的 RDD 映射成一个新的只包含年龄数据的 RDD，很显然需要对在 map 算子的传入函数中使用 split 方法，得到数组后只取第二个元素即为年龄信息；第二步计算数据元素总数需要对于第一步映射的结果 RDD 使用 count 算子；第三步则是使用 reduce 算子对只包含年龄信息的 RDD 的所有元素用加法求和；最后使用除法计算平均年龄即可。

以下实现对平均年龄的计算的代码：

 import org.apache.spark.SparkConf;
 import org.apache.spark.api.java.JavaRDD;
 import org.apache.spark.api.java.JavaSparkContext;
 import org.apache.spark.api.java.function.FlatMapFunction;
 import org.apache.spark.api.java.function.Function;
 import org.apache.spark.api.java.function.Function2;
 import java.util.Arrays;

 /**
  * Created by Administrator on 2017/11/13.
  */
 public class AvgAgeCalculator {
     public static void main(String[] args){

         SparkConf sparkConf = new SparkConf().setAppName("AvgAgeCalculator").setMaster("local[3]");
         JavaSparkContext sc = new JavaSparkContext(sparkConf);
         //读取文件
         JavaRDD<String> dataFile = sc.textFile("F:\\DataFile.txt");
         //数据分片并取第二个数
         JavaRDD<String> ageData = dataFile.flatMap(new FlatMapFunction<String, String>() {
             @Override
             public Iterable<String> call(String s) throws Exception {
                 return Arrays.asList(s.split(" ")[1]);
             }
         });
         //求出所有年龄个数。
         long count = ageData.count();
         //转换数据类型
         JavaRDD<Integer> ageDataInt = ageData.map(new Function<String, Integer>() {
             @Override
             public Integer call(String s) throws Exception {
                 return Integer.parseInt(String.valueOf(s));
             }
         });
         //求出年龄的和
         Integer totalAge = ageDataInt.reduce(new Function2<Integer, Integer, Integer>() {
             @Override
             public Integer call(Integer x, Integer y) throws Exception {
                 return x+y;
             }
         });
         //平均值结果为double类型
         Double avgAge = totalAge.doubleValue()/count;
         /*System.out.println(ageData.collect());
         System.out.println(count);*/
         System.out.println("Total Age:" + totalAge + ";    Number of People:" + count );
         System.out.println("Average Age is " + avgAge);

     }
 }

运行结果：

从结果可以看出，计算出所以年龄的总和，以及总人数，以及平均年龄值。看似简单的例子，在对数组取值和数据类型转换时候需要特别的注意。