hadoop编程：分析CSDN注冊邮箱分布情况

https://blog.csdn.net/jdh99/article/details/37565825

hadoop编程：分析CSDN注冊邮箱分布情况

本文博客链接:http://blog.csdn.net/jdh99,作者:jdh,转载请注明.

环境：

主机:Ubuntu10.04

hadoop版本号:1.2.1

开发工具:eclipse4.4.0

说明:

要求：原始数据共6428632条。分析不同邮箱的注冊情况，并按使用人数从大到小排序。

分析：hadoop自带一个排序，是按key值来进行排序的。要按值（value）进行排序，须要二次排序。

步骤：

1.job1：统计不同注冊邮箱的使用人数，用默认的key值排序，保存在HDFS系统中

2.job2：对job1的输出进行二次排序，按值从大到小排序

结果输出:

使用人数在1W以上的邮箱共同拥有24个：

qq.com   1976196
163.com   1766927
126.com   807895
sina.com   351596
yahoo.com.cn   205491
hotmail.com   202948
gmail.com   186843
sohu.com   104736
yahoo.cn   87048
tom.com   72365
yeah.net   53295
21cn.com   50710
vip.qq.com   35119
139.com   29207
263.net   24779
sina.com.cn   19156
live.cn   18920
sina.cn   18601
yahoo.com   18454
foxmail.com   16432
163.net   15176
msn.com   14211
eyou.com   13372
yahoo.com.tw   10810

源码:

JOB1：统计不同注冊邮箱的人数

CsdnData.java

package com.bazhangkeji.hadoop;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

public class CsdnData

{

	public static void main(String[] args) throws Exception

	{

		Configuration conf = new Configuration();

		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

		if (otherArgs.length != 2)

		{

			System.err.println("Usage: csdndata <in> <out>");

			System.exit(2);

		}

		Job job = new Job(conf, "csdndata");

		job.setJarByClass(CsdnData.class);

		job.setMapperClass(MapData.class);

		job.setReducerClass(ReducerData.class);

		job.setOutputKeyClass(Text.class);

		job.setOutputValueClass(IntWritable.class);

		FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

		FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

		System.exit(job.waitForCompletion(true) ? 0 : 1);

  	}

}

MapData.java

package com.bazhangkeji.hadoop;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Mapper.Context;

public class MapData extends Mapper<Object, Text, Text, IntWritable>

{

	IntWritable one = new IntWritable(1);

  	Text word = new Text();

  	public void map(Object key, Text value, Context context) throws IOException, InterruptedException

	{

  		StringBuffer str_in = new StringBuffer();

		StringBuffer str_out = new StringBuffer();

		int index = 0;

		//初始化字符串

		str_in.setLength(0);

		str_out.setLength(0);

		str_in.append(value.toString());

		//获得邮箱的起始位置

		index = str_in.toString().lastIndexOf('@');

		if (index != -1)

		{

			word.set(str_in.toString().substring(index + 1).trim().toLowerCase());

  			context.write(word, one);

		}

  	}

}

ReducerData.java

package com.bazhangkeji.hadoop;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.Reducer.Context;

public class ReducerData extends Reducer<Text,IntWritable,Text,IntWritable>

{

	IntWritable result = new IntWritable();

  	public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException

	{

    	int sum = 0;

    	for (IntWritable val : values)

		{

      		sum += val.get();

    	}

    	result.set(sum);

    	context.write(key, result);

  	}

}

JOB2：对job1的输出进行二次排序。按值从大到小排序

SortSecond.java

package com.bazhangkeji.hadoop2;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

public class SortSecond

{

	public static void main(String[] args) throws Exception

	{

		Configuration conf = new Configuration();

		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

		if (otherArgs.length != 2)

		{

			System.err.println("Usage: csdndata <in> <out>");

			System.exit(2);

		}

		Job job = new Job(conf, "sortsecond");

		job.setJarByClass(SortSecond.class);

		job.setMapperClass(MapSecond.class);

		job.setReducerClass(ReduceSecond.class); 

		job.setSortComparatorClass(SortMy.class); //设置自己定义二次排序策略

		job.setOutputKeyClass(KeyMy.class);

		job.setOutputValueClass(IntWritable.class);

		FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

		FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

		System.exit(job.waitForCompletion(true) ?

0 : 1);

  	}

}

MapSecond.java

package com.bazhangkeji.hadoop2;

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Mapper.Context;

public class MapSecond extends Mapper<LongWritable, Text, KeyMy, IntWritable>

{

	IntWritable one = new IntWritable(1);

  	Text word = new Text();

  	KeyMy keymy = new KeyMy();

  	public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException

	{

  		String str_in = value.toString();

  		int index = 0;

  		index = str_in.indexOf('\t');

  		if (value.toString().length() > 3 && index != -1)

  		{

	  		String str1 = str_in.substring(0, index);

	  		String str2 = str_in.substring(index + 1);

	  		if (str1.length() != 0 && str2.length() != 0)

	  		{

	  			one.set(Integer.parseInt(str2));

	  			word.set(str1);

				keymy.setFirstKey(word);

				keymy.setSecondKey(one);

	  			context.write(keymy, one);

	  		}

  		}

  	}

}

ReduceSecond.java

package com.bazhangkeji.hadoop2;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.Reducer.Context;

public class ReduceSecond extends Reducer<KeyMy,IntWritable,Text,IntWritable>

{

	IntWritable result = new IntWritable();

  	public void reduce(KeyMy key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException

	{

    	context.write(key.getFirstKey(), key.getSecondKey());

  	}

}

KeyMy.java

package com.bazhangkeji.hadoop2;

import java.io.DataInput;

import java.io.DataOutput;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.io.WritableComparable;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

/**

 * 自己定义组合键

 */

public class KeyMy implements WritableComparable<KeyMy>{

    private static final Logger logger = LoggerFactory.getLogger(KeyMy.class);

    private Text firstKey;

    private IntWritable secondKey;

    public KeyMy() {

        this.firstKey = new Text();

        this.secondKey = new IntWritable();

    }

    public Text getFirstKey() {

        return this.firstKey;

    }

    public void setFirstKey(Text firstKey) {

        this.firstKey = firstKey;

    }

    public IntWritable getSecondKey() {

        return this.secondKey;

    }

    public void setSecondKey(IntWritable secondKey) {

        this.secondKey = secondKey;

    }

    @Override

    public void readFields(DataInput dateInput) throws IOException {

        // TODO Auto-generated method stub

        this.firstKey.readFields(dateInput);

        this.secondKey.readFields(dateInput);

    }

    @Override

    public void write(DataOutput outPut) throws IOException {

        this.firstKey.write(outPut);

        this.secondKey.write(outPut);

    }

    /**

     * 自己定义比較策略

     * 注意：该比較策略用于 mapreduce的第一次默认排序，也就是发生在map阶段的sort小阶段，

     * 发生地点为环形缓冲区(能够通过io.sort.mb进行大小调整)

     */

    @Override

    public int compareTo(KeyMy KeyMy) {

        logger.info("-------KeyMy flag-------");

        return this.firstKey.compareTo(KeyMy.getFirstKey());

    }

}

SortMy.java

package com.bazhangkeji.hadoop2;

import org.apache.hadoop.io.WritableComparable;

import org.apache.hadoop.io.WritableComparator;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

/**

 * 自己定义二次排序策略

 */

public class SortMy extends WritableComparator {

    private static final Logger logger = LoggerFactory.getLogger(SortMy.class);

    public SortMy() {

        super(KeyMy.class,true);

    }

    @Override

    public int compare(WritableComparable KeyMyOne,

            WritableComparable KeyMyOther)

    {

        logger.info("---------enter SortMy flag---------");

        KeyMy c1 = (KeyMy) KeyMyOne;

        KeyMy c2 = (KeyMy) KeyMyOther;

        return c2.getSecondKey().get()-c1.getSecondKey().get();//0,负数,正数

    }

}

參考资料:

1.《hadoop权威指南》

2. http://zengzhaozheng.blog.51cto.com/8219051/1379271

hadoop编程：分析CSDN注冊邮箱分布情况的更多相关文章

《解读window核心编程》之注冊表
1 注冊表的作用及组织形式 Windows系统使用注冊表来存储系统和应用程序配置数据.非常多系统和应用程序重要的配置的信息都存储在注冊表中. 注冊表是一种以树型结构组织的数据库.树的每个节点称作键( ...
协议的注冊与维护——ndpi源代码分析
在前面的文章中,我们对ndpi中的example做了源代码分析.这一次我们将尽可能深入的了解ndpi内部的结构和运作.我们将带着以下三个目的(问题)去阅读ndpi的源代码. 1.ndpi内部是怎么样注 ...
YII用户注冊和用户登录（三）之模型中规则制定和分析
3 模型中规则制定和分析 YII模型主要分为两类,一个数据模型,处理和数据库相关的增删改查.继承CActiveRecord.还有一个是表单模型,继承CFormModel.不与数据库进行交互.操作与数据 ...
CLion注冊码算法逆向分析实录（纯研究）
声明 CLion程序版权为jetBrains全部.注冊码授权为jetBrains及其付费用户全部,本篇仅仅从兴趣出发,研究其注冊码生成算法. 不会释出不论什么完整的源码. 网上查了下.已有注冊机,所以 ...
从注冊流程分析怎样安全退出多个Activity 多种方式（附DEMO）
前言因为一个同学问到我怎样依照一个流程走好之后回到首页.我曾经看到过4个解决方式,后来发现有做个记录和总结的必要,就写了这篇博文. (之前看小强也写过一篇,这里通过自身的分析完整的总结一下下面6种方 ...
免费edu邮箱申请注冊地址
几个国外.edu邮箱注冊地址: 注冊地址:http://mail.alumni.fandm.edu/reg/reg_pangia.asp @alumni.fandm.edu 注冊地址: http: ...
【spring源代码分析】--Bean的解析与注冊
接着上一节继续分析,DefaultBeanDefinitionDocumentReader的parseBeanDefinitions方法: protected void parseBeanDefini ...
Android Binder分析二：Natvie Service的注冊
这一章我们通过MediaPlayerService的注冊来说明怎样在Native层通过binder向ServiceManager注冊一个service,以及client怎样通过binder向Servi ...
YII用户注冊和用户登录（二）之登录和注冊在视图通过表单使用YII小物件并分析
2 登录和注冊在视图通过表单使用YII小物件并分析 <?php $form = $this -> beginWidget('CActiveForm', array( 'enableClie ...

随机推荐

UCI机器学习库和一些相关算法（转载）
UCI机器学习库和一些相关算法各种机器学习任务的顶级结果(论文)汇总 https://github.com//RedditSota/state-of-the-art-result-for-machi ...
C++Primer学习笔记《2》
数组是一种复合类型,由类型名+数组名+维度组成. 数组定义中的类型能够是C++基本内置类型.也能够是类类型的.数组元素的类型能够是除了引用类型以外的其它不论什么类型.没有全部的元素都是引用的数组. 数 ...
ssh密码登陆的原理,密码的公私钥和sshkey的不是一回事
密码登录的原理: 密钥加密: 创建分发密钥.分发到服务端的ssh-copy-id的本质是拷贝公钥到对面服务器的,authorized_keys文件下就会多了一个密钥文件信息.就会被拷贝入下面. 客户端 ...
bjposition
背景位置:background-origin:content-box;//"border-box", "padding-box", "content- ...
kafka1：Kafka集群部署步骤
参考: kafka 集群--3个broker 3个zookeeper创建实战细细品味Kafka_Kafka简介及安装_V1.3http://www.docin.com/p-1291437890.ht ...
jquery动态调整div大小使其宽度始终为浏览器宽度
需要设置宽度为整个浏览器宽度的div,当然我们可以使用相对布局的方式做到这一点,下面是具体实现,大家可以参考下有时候我们需要设置宽度为整个浏览器宽度的div,当然我们可以使用相对布局的方式做到这一点 ...
iOS 横向菜单
MKHorizMenu 源码地址现在想要实现以下效果,其中“选时间”这部分是一个NavigationBar,“日期”是横向的菜单,“电影时段”是TableView. 比较难实现的是横向菜单,因为没有 ...
（转）使用 PyInstaller 把python程序 .py转为 .exe 可执行程序
最近使用Python为项目开发一款绘图工具(绘出声场三维模型).因为希望能把Python脚本发布为脱离Python平台运行的可执行程序,比如单个的exe文件.PyInstaller恰满足这个需求.本 ...
JavaScript------获取表单信息
<form name="fname"> <input type="text" name="user" /> < ...
MySQL数据库中的存储引擎
1.认识存储引擎存储引擎指定了表的类型,即如何存储和索引数据.是否支持事务等,同时存储引擎也决定了表在计算中的存储方式. 存储引擎是以插件的形式被MySQL软件引入的,所以可以根据应用.实际的领域来 ...

hadoop编程：分析CSDN注冊邮箱分布情况

hadoop编程：分析CSDN注冊邮箱分布情况的更多相关文章

随机推荐

热门专题