利用MapReduce计算平均数

利用mapreduce求出股票价格的开盘和收盘平均数

下图为采集到的股票信息，共计1416支股票的信息

因为在linux系统下默认采用utf-8的编码格式，而在win下txt默认采用ANSI编码格式。所以需要在linux下将文件转换一下格式，可以采用：

递归转换(包括子文件夹)

find default -type d -exec mkdir -p utf/{} \;

find default -type f -exec iconv -f GBK -t UTF-8 {} -o utf/{} \;

 

这两行命令将default目录下的文件由GBK编码转换为UTF-8编码，目录结构不变，转码后的文件保存在utf/default目录下。

1. package economic;
2. import java.io.IOException;
3. import java.util.Iterator;
4. import java.util.StringTokenizer;
5. import org.apache.hadoop.conf.Configuration;
6. import org.apache.hadoop.fs.Path;
7. import org.apache.hadoop.io.FloatWritable;
8. import org.apache.hadoop.io.IntWritable;
9. import org.apache.hadoop.io.LongWritable;
10. import org.apache.hadoop.io.Text;
11. import org.apache.hadoop.mapreduce.Job;
12. import org.apache.hadoop.mapreduce.Mapper;
13. import org.apache.hadoop.mapreduce.Reducer;
14. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
15. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
16. import org.apache.hadoop.util.GenericOptionsParser;
17. public class ScoreAvgTest {
18. /**
19. *
20. * @author hadoop www.ysgj1688.com KEYIN：输入map的key值，为每行文本的开始位置子字节计算，（0,11...）
21. *         VALUEIN：输入map的value，为每行文本值 KEYOUT ：输出的key值 VALUEOUT：输出的value值
22. */
23. public static class MapperClass extends Mapper<Object, Text, Text, Text> {
24. private Text companyName = new Text();
25. private Text open = new Text();
26. private Text data=new Text();
27. private int n = 0;
28. @Override
29. protected void map(Object key, Text value, Context context)
30. throws IOException, InterruptedException {
31. // TODO Auto-generated method stub
32. System.out.println(this.n);
33. n++;
34. String lineText = value.toString();
35. String[] args = lineText.split("\\s+");
36. if (args.length == 4) {
37. this.companyName.set(args[1]);
38. }
39. if (args.length == 7) {
40. try {
41. System.out.println("Bfter Reducer:" + companyName + ","
42. + args[1]);
43. data.set(args[1]+" "+args[4]);
44. context.write(this.companyName, data);
45. } catch (IOException e) {
46. e.printStackTrace(www.vboyl130.cn);
47. } catch (InterruptedException e) {
48. e.printStackTrace();
49. }
50. }
51. }
52. }
53. /**
54. *
55. * @author hadoop KEYIN:输入的名字 VALUEIN：输入的分数 KEYOUT：输出的名字 VALUEOUT：统计输出的平均分
56. */
57. public static class ReducerClass extends Reducer<Text, Text, Text, Text> {
58. private Text text = new Text();
59. protected void reduce(Text companyName, Iterable<Text> kaipan,
60. Context context) throws IOException, InterruptedException {
61. // TODO Auto-generated method stub
62. double sumOpen = 0.0;
63. double sumClose = 0.0;
64. int num = 0;
65. Iterator<Text> $it = kaipan.iterator();
66. while ($it.hasNext())www.vboyule.cn  {
67. String record = $it.next(www.baohuayule.net ).toString();
68. String[] getData=record.split(" ");
69. System.out.println(num);
70. System.out.println("原始数据：" + record);
71. num++;
72. System.out.println("第" www.qinlinyule.cn + num + "次循环");
73. sumOpen += (Double.valueOf(getData[0])*100);
74. sumClose+=(Double.valueOf(getData[1])*100);
75. }
76. double openPrise = sumOpen / (100 * num);
77. double closePrise = sumClose / (100 * num);
78. System.out.println("openPrice1:" + openPrise);
79. System.out.println("www.120xh.cn  closePrice1:" + closePrise);
80. openPrise = (double) Math.round(openPrise * 100) / 100;
81. closePrise = (double) Math.round(closePrise * 100) / 100;
82. System.out.println("sumOpen:" + sumOpen+"   sumClose"+sumClose);
83. System.out.println("openPrice2:" + openPrise);
84. System.out.println("closePrice2:" + closePrise);
85. String result ="开盘平均价："+Double.toString(openPrise)+",   收盘平均价："+Double.toString(closePrise);
86. text.set(result);
87. try {
88. context.write(companyName, text);
89. } catch (IOException e) {
90. e.printStackTrace();
91. } catch (InterruptedException e) {
92. e.printStackTrace();
93. }
94. }
95. }
96. public static void main(String[] args) throws IOException,
97. InterruptedException, www.255055.cn/   ClassNotFoundException {
98. Configuration conf = new Configuration();
99. conf.set("fs.default.name", "hdfs://localhost:9000");
100. String[] otherArgs = new String[] { "export", "output" };    //export为文本输入路径，output为输出路径
101. if (otherArgs.length < 2) {
102. System.err.println("Usage:wordcount<in>[<in>...]<out>");
103. System.exit(2);
104. }
105. Job job = Job.getInstance(conf, "arg");
106. job.setJarByClass(ScoreAvgTest.class);
107. job.setMapperClass(MapperClass.class);
108. //      job.setCombinerClass(ReducerClass.class);
109. System.out.println("Mapper over");
110. job.setReducerClass(ReducerClass.class);
111. System.out.println("Reducer over");
112. job.setOutputKeyClass(Text.class);
113. job.setOutputValueClass(Text.class);
114. FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
115. FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
116. System.exit(job.waitForCompletion(true) ? 0 : 1);
117. }
118. }

运行后生成的output文件夹中的文件