hadoop执行hdfs文件到hbase表插入操作(xjl456852原创)
本例中需要将hdfs上的文本文件,解析后插入到hbase的表中.
create 'ns2:user', 'info'
1,xiejl,202,haha,303,liudehua,404,daoming,41
[hadoop@master ~]$ hdfs classpath
package com.xjl456852.mapreduce;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import java.io.IOException;/*** 将hdfs中的文本文件写入到hbase的表中* 程序的运行需要加入hadoop的配置文件和hbase的配置文件到jar包中* 对应的hbase的表* create 'ns2:user','info'** Created by xiejl on 2016/8/10.*/public class HBaseApp {public static void main(String [] args) {try {Job job = Job.getInstance();job.setJobName("text into hbase table");job.setJarByClass(HBaseApp.class);FileInputFormat.addInputPath(job, new Path(args[0]));//设置表名job.getConfiguration().set(TableOutputFormat.OUTPUT_TABLE, args[1]);//设置输出格式为tablejob.setOutputFormatClass(TableOutputFormat.class);//设置输出的key类型为ImmutableBytesWritablejob.setOutputKeyClass(ImmutableBytesWritable.class);//设置输出的value类型为Putjob.setOutputValueClass(Put.class);//因为map输出key和reduce输出的key类型不一致,所以需要再设置map的key输出类型为Textjob.setMapOutputKeyClass(Text.class);//因为map输出value和reduce输出的value类型不一致,所以需要再设置map的value输出类型为Textjob.setMapOutputValueClass(Text.class);//Mapperjob.setMapperClass(MyMapper.class);//Reducerjob.setReducerClass(MyReducer.class);System.exit(job.waitForCompletion(true) ? 0 : 1);} catch (InterruptedException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();} catch (ClassNotFoundException e) {e.printStackTrace();}}}
package com.xjl456852.mapreduce;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/*** Created by xiejl on 2016/8/10.*/public class MyMapper extends Mapper<LongWritable, Text, Text, Text> {@Overrideprotected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {String line = value.toString();int index = line.indexOf(",");String rowKey = line.substring(0, index);//跳过逗号String valueLine = line.substring(index+1);context.write(new Text(rowKey), new Text(valueLine));}}
package com.xjl456852.mapreduce;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.apache.hadoop.hbase.util.Bytes;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;/*** Created by xiejl on 2016/8/11.*/public class MyReducer extends Reducer<Text, Text, ImmutableBytesWritable, Put> {@Overrideprotected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {byte[] rowKey = Bytes.toBytes(key.toString());for(Text text : values) {//设置put对象的行键Put put = new Put(rowKey);String line = text.toString();int index = line.indexOf(",");String name = line.substring(0, index);String age = line.substring(index+1);//列族的是建表时固定的,列和值是插入时添加的.put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"),Bytes.toBytes(name));put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("age"),Bytes.toBytes(age));context.write(new ImmutableBytesWritable(Bytes.toBytes(key.toString())), put);}}}
将HBase的类jar包加到hadoop的classpath下, 修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh。配置好这个文件,分发到各个节点,改这个配置不用重启集群.
TEMP=`ls /opt/modules/hbase/lib/*.jar`HBASE_JARS=`echo $TEMP | sed 's/ /:/g'`HADOOP_CLASSPATH=$HBASE_JARS
<property><name>yarn.application.classpath</name><value>/opt/modules/hadoop/etc/*,/opt/modules/hadoop/etc/hadoop/*,/opt/modules/hadoop/lib/*,/opt/modules/hadoop/share/hadoop/common/*,/opt/modules/hadoop/share/hadoop/common/lib/*,/opt/modules/hadoop/share/hadoop/mapreduce/*,/opt/modules/hadoop/share/hadoop/mapreduce/lib/*,/opt/modules/hadoop/share/hadoop/hdfs/*,/opt/modules/hadoop/share/hadoop/hdfs/lib/*,/opt/modules/hadoop/share/hadoop/yarn/*,/opt/modules/hadoop/share/hadoop/yarn/lib/*,/opt/modules/hbase/lib/*</value></property>
hadoop jar hbase.jar com.xjl456852.mapreduce.HBaseApp data/hbase_input ns2:user
hbase(main):001:0> scan 'ns2:user'ROW COLUMN+CELL1 column=info:age, timestamp=1470966325326, value=201 column=info:name, timestamp=1470966325326, value=xiejl2 column=info:age, timestamp=1470966325326, value=302 column=info:name, timestamp=1470966325326, value=haha3 column=info:age, timestamp=1470966325326, value=403 column=info:name, timestamp=1470966325326, value=liudehua4 column=info:age, timestamp=1470966325326, value=414 column=info:name, timestamp=1470966325326, value=daoming4 row(s) in 0.3100 seconds
package com.xjl456852.mapreduce;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.apache.hadoop.hbase.mapreduce.TableReducer;import org.apache.hadoop.hbase.util.Bytes;import org.apache.hadoop.io.Text;import java.io.IOException;/*** 如果继承TableReducer,从源码中可以看到,输出的value是Mutation类型,也就是输出的值可以是Put,Delete之类的类型* Created by xiejl on 2016/8/11.*/public class MyReducer2 extends TableReducer<Text, Text, ImmutableBytesWritable> {@Overrideprotected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {byte[] rowKey = Bytes.toBytes(key.toString());for(Text text : values) {//设置put对象的行键Put put = new Put(rowKey);String line = text.toString();int index = line.indexOf(",");String name = line.substring(0, index);String age = line.substring(index+1);//列族的是建表时固定的,列和值是插入时添加的.put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"),Bytes.toBytes(name));put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("age"),Bytes.toBytes(age));context.write(new ImmutableBytesWritable(Bytes.toBytes(key.toString())), put);}context.getCounter("reduce", "over").increment(1);}}
hadoop执行hdfs文件到hbase表插入操作(xjl456852原创)的更多相关文章
- BulkLoad加载本地文件到HBase表
BulkLoad加载文件到HBase表 1.功能 将本地数据导入到HBase中 2.原理 BulkLoad会将tsv/csv格式的文件编程hfile文件,然后再进行数据的导入,这样可以避免大量数据导入 ...
- Hadoop之HDFS文件操作常有两种方式(转载)
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式.本文介绍如何利用这两种方式对HDFS文件进行操作. 关键词:HDFS文件 命令行 Java API HD ...
- Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式.命令行方式和JavaAPI方式.本文介绍怎样利用这两种方式对HDFS文件进行操作. 关键词:HDFS文件 命令行 Java API HD ...
- HDFS文件和HIVE表的一些操作
1. hadoop fs -ls 可以查看HDFS文件 后面不加目录参数的话,默认当前用户的目录./user/当前用户 $ hadoop fs -ls 16/05/19 10:40:10 WARN ...
- hadoop的hdfs文件操作实现上传文件到hdfs
这篇文章主要介绍了使用hadoop的API对HDFS上的文件访问,其中包括上传文件到HDFS上.从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下hdfs文件操作操作示例,包括上传文件到 ...
- Hadoop 执行 hdfs 命令烦人的警告信息
问题描述: 安装完 hadoop,执行 hdfs dfs -ls 命令时,报警告如下: -- ::, WARN util.NativeCodeLoader: Unable to load native ...
- Java 向Hbase表插入数据报(org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apac)
org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apac 代码: //1.create HTa ...
- Java 向Hbase表插入数据报(org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apac
org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apac 代码: //1.create HTa ...
- Java 向Hbase表插入数据异常org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apache.client.HTable
出错代码如下: //1.create HTablePool HTablePool hp=new HTablePool(con, 1000); //2.get HTable from HTablepoo ...
随机推荐
- HDU2841 Visible Trees (容斥原理)
主题链接:http://acm.hdu.edu.cn/showproblem.php?pid=2841 题意: 一个人在(0,0)点,然后前面有一个m*n的格子 ,每一个格子的节点上有一棵树.问这个人 ...
- Dubbo亮点总结
Dubbo是阿里巴巴的一个开源RPC项目,可在http://dubbo.io进行訪问 类似的产品有Hessian.spring httpinvoke 等. Dubbo的亮点总结例如以下: 1.服务注冊 ...
- sqlserver 2008 sa登陆的一些问题
sqlserver 2008 sa登陆 无法连接到(local)? 遇到这个问题请确保SQL主服务是开启状态: ok接下来把服务器名换成 计算机名\实例名 再次使用sa登陆,如下: 是不是可以了呢? ...
- Python 正则表达试
字符串是编程时涉及到的最多的一种数据结构,对字符串进行操作的需求几乎无处不在.比如判断一个字符串是否是合法的Email地址,虽然可以编程提取@前后的子串,再分别判断是否是单词和域名,但这样做不但麻烦, ...
- 查询矩形范围内的"点"要素
步骤 1,首先在含有主视图控件 ESRI.ArcGIS.Controls.AxMapControl mapCtrl_main 的主类中定义一个 IEnvelope 成员变量,用于记录鼠标在主视图控件画 ...
- AngularJs练习Demo18 Resource
@{ Layout = null; } <!DOCTYPE html> <html> <head> <meta name="viewport&quo ...
- kvc/kvo复习
kvc/kvo复习 1 小问题 '[<XMGPerson 0x7fb8a8f30220> setValue:forUndefinedKey:]: this XMGPerson * pers ...
- Ajax--WebService返回List
WebService: using System.Web.Script.Services; [GenerateScriptType(typeof(people))] [WebMethod] publi ...
- Xml读取异常--Invalid byte 1 of 1-byte UTF-8 sequence
xml读取异常Invalid byte 1 of 1-byte UTF-8 sequence org.dom4j.DocumentException: Invalid byte 1 of 1-byte ...
- DOM----comment类型
nodeTyep=8 nodeName=#comment nodeValue=注释内容