使用ES-Hadoop 6.5.4编写MR将数据索引到ES

目录

• 1. 开发环境
• 2. 下载地址
• 3. 使用示例
  • 3.1 导入jar包
  • 3.2 编写描述类
  • 3.3 编写Mapper类
• 4. 参考文献

1. 开发环境

• Elasticsearch 6.5.4
• ES-Hadoop 6.5.4
• Hadoop 2.0.0

2. 下载地址

ES-Hadoop下载地址如下：

官网地址：https://www.elastic.co/downloads/past-releases

3. 使用示例

ES-Hadoop插件使用非常简单，只要在作业中导入jar包，在作业描述类中设置一些属性，就可以了，其他部分操作和一般的MR作业并没有太大差别。

3.1 导入jar包

下载好插件解压后，可以看见其中包含对应许多hadoop组件的jar包(hive、pig等)，只需要将自己需要的jar包添加项目中，因为这里我只是将hbase里的数据索引到ES中，所以只需要添加elasticsearch-hadoop-mr-6.5.4.jar这个jar包。

注：还需要将所用jar包添加到hadoop的classPath中，否则运行作业时会报找不到类的错误。

3.2 编写描述类

只需要添加如下设置：

//禁止speculative机制，该机制会启动多个相同task，使数据重复索引
conf.setBoolean("mapred.map.tasks.speculative.execution", false);
conf.setBoolean("mapred.reduce.tasks.speculative.execution", false);
//设置ES集群中任意节点的IP地址和端口号
conf.set("es.nodes", "http://节点IP:9200");
//设置要索引的index/type
conf.set("es.resource", "mytest/rec");
//设置输入的数据格式为json
conf.set("es.input.json", "yes");
//设置json中文档id对应的字段名
conf.set("es.mapping.id", "id");

//设置输出格式为EsOutputFormat类
job.setOutputFormatClass(EsOutputFormat.class);
//不需要reduce，map也不需要key,所以将map类的key设置为NullWritable
job.setMapOutputKeyClass(NullWritable.class);
//将map的value类型设置为Text
job.setMapOutputValueClass(Text.class);

3.3 编写Mapper类

public class MixRecMapper extends Mapper<LongWritable,Text,NullWritable,Text>{

	@Override
	protected void map(LongWritable offset, Text userId,org.apache.hadoop.mapreduce.Mapper.Context context)throws IOException, InterruptedException {

		//前面为省略的业务逻辑代码

		//jsonDoc为自行拼接的json字符串
		String jsonDoc = "{\"id\":\"" + userId.toString() + "\",\"mix_rec\":" + mixList.toString() + "}";
//				logger.info(jsonDoc+" 入ES的json===========================");
				context.write(NullWritable.get(),new Text(jsonDoc));
	}

}

4. 参考文献

官方文档：https://www.elastic.co/guide/en/elasticsearch/hadoop/current/mapreduce.html