Spark读取Hbase中的数据

大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下：

JavaRDD<Integer> myRDD = sc.parallelize(Arrays.asList(1,2,3));

Scala版本如下：

val myRDD= sc.parallelize(List(1,2,3))

　　这种方式很简单，很容易就可以将一个集合中的数据变成RDD的初始化值；更常见的是（2）、从文本中读取数据到RDD中，这个文本可以是纯文本文件、可以是sequence文件；可以存放在本地(file://)、可以存放在HDFS（hdfs://）上，还可以存放在S3上。其实对文件来说，Spark支持Hadoop所支持的所有文件类型和文件存放位置。Java版如下：

/////////////////////////////////////////////////////////////////////

User: 过往记忆

Date: 14-6-29

Time: 23:59

bolg:

本文地址：/archives/1051

过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货

过往记忆博客微信公共帐号：iteblog_hadoop

/////////////////////////////////////////////////////////////////////

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

SparkConf conf = new SparkConf().setAppName("Simple Application");

JavaSparkContext sc = new JavaSparkContext(conf);

sc.addFile("wyp.data");

JavaRDD<String> lines = sc.textFile(SparkFiles.get("wyp.data"));

Scala版本如下：

import org.apache.spark.SparkContext

import org.apache.spark.SparkConf

val conf = new SparkConf().setAppName("Simple Application")

val sc = new SparkContext(conf)

sc.addFile("spam.data")

val inFile = sc.textFile(SparkFiles.get("spam.data"))

　　在实际情况下，我们需要的数据可能不是简单的存放在HDFS文本中，我们需要的数据可能就存放在Hbase中，那么我们如何用Spark来读取Hbase中的数据呢？本文的所有测试是基于Hadoop 2.2.0、Hbase 0.98.2、Spark 0.9.1，不同版本可能代码的编写有点不同。本文只是简单地用Spark来读取Hbase中的数据，如果需要对Hbase进行更强的操作，本文可能不能帮你。话不多说，Spark操作Hbase的Java版本代码如下：

package com.iteblog.spark;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.hbase.io.ImmutableBytesWritable;

import org.apache.hadoop.hbase.mapreduce.TableInputFormat;

import org.apache.hadoop.hbase.protobuf.ProtobufUtil;

import org.apache.hadoop.hbase.protobuf.generated.ClientProtos;

import org.apache.hadoop.hbase.util.Base64;

import org.apache.hadoop.hbase.util.Bytes;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaPairRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.api.java.function.Function2;

import org.apache.spark.api.java.function.PairFunction;

import scala.Serializable;

import scala.Tuple2;

import java.io.IOException;

import java.util.List;

/**

 * User: iteblog

 * Date: 14-6-27

 * Time: 下午5:18

 *blog: http://www.iteblog.com

 *

 * Usage: bin/spark-submit --master yarn-cluster --class com.iteblog.spark.SparkFromHbase

 * --jars /home/q/hbase/hbase-0.96.0-hadoop2/lib/htrace-core-2.01.jar,

 * /home/q/hbase/hbase-0.96.0-hadoop2/lib/hbase-common-0.96.0-hadoop2.jar,

 * /home/q/hbase/hbase-0.96.0-hadoop2/lib/hbase-client-0.96.0-hadoop2.jar,

 * /home/q/hbase/hbase-0.96.0-hadoop2/lib/hbase-protocol-0.96.0-hadoop2.jar,

 * /home/q/hbase/hbase-0.96.0-hadoop2/lib/hbase-server-0.96.0-hadoop2.jar

 * ./spark_2.10-1.0.jar

 */

public class SparkFromHbase implements Serializable {

    /**

     * copy from org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil

     *

     * @param scan

     * @return

     * @throws IOException

     */

    String convertScanToString(Scan scan) throws IOException {

        ClientProtos.Scan proto = ProtobufUtil.toScan(scan);

        return Base64.encodeBytes(proto.toByteArray());

    }

    public void start() {

        SparkConf sparkConf = new SparkConf();

        JavaSparkContext sc = new JavaSparkContext(sparkConf);

        Configuration conf = HBaseConfiguration.create();

        Scan scan = new Scan();

        //scan.setStartRow(Bytes.toBytes("195861-1035177490"));

        //scan.setStopRow(Bytes.toBytes("195861-1072173147"));

        scan.addFamily(Bytes.toBytes("cf"));

        scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col_1"));

        try {

            String tableName = "wyp";

            conf.set(TableInputFormat.INPUT_TABLE, tableName);

            conf.set(TableInputFormat.SCAN, convertScanToString(scan));

            JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD = sc.newAPIHadoopRDD(conf,

                    TableInputFormat.class, ImmutableBytesWritable.class,

                    Result.class);

            JavaPairRDD<String, Integer> levels = hBaseRDD.mapToPair(

                    new PairFunction<Tuple2<ImmutableBytesWritable, Result>, String, Integer>() {

                        @Override

                        public Tuple2<String, Integer> call(Tuple2<ImmutableBytesWritable, Result> immutableBytesWritableResultTuple2) throws Exception {

                            byte[] o = immutableBytesWritableResultTuple2._2().getValue(Bytes.toBytes("cf"), Bytes.toBytes("col_1"));

                            if (o != null) {

                                return new Tuple2<String, Integer>(new String(o), 1);

                            }

                            return null;

                        }

                    });

            JavaPairRDD<String, Integer> counts = levels.reduceByKey(

                    new Function2<Integer, Integer, Integer>() {

                        @Override

                        public Integer call(Integer i1, Integer i2) {

                            return i1 + i2;

                        }

                    });

            List<Tuple2<String, Integer>> output = counts.collect();

            for (Tuple2 tuple : output) {

                System.out.println(tuple._1() + ": " + tuple._2());

            }

            sc.stop();

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

    public static void main(String[] args) throws InterruptedException {

        new SparkFromHbase().start();

        System.exit(0);

    }

}

这样本段代码段是从Hbase表名为flight_wap_order_log的数据库中读取cf列簇上的airName一列的数据，这样我们就可以对myRDD进行相应的操作：

System.out.println(myRDD.count());

本段代码需要在pom.xml文件加入以下依赖：

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-core_2.10</artifactId>

<version>0.9.1</version>

</dependency>

<dependency>

<groupId>org.apache.hbase</groupId>

<artifactId>hbase</artifactId>

<version>0.98.2-hadoop2</version>

</dependency>

<dependency>

<groupId>org.apache.hbase</groupId>

<artifactId>hbase-client</artifactId>

<version>0.98.2-hadoop2</version>

</dependency>

<dependency>

<groupId>org.apache.hbase</groupId>

<artifactId>hbase-common</artifactId>

<version>0.98.2-hadoop2</version>

</dependency>

<dependency>

<groupId>org.apache.hbase</groupId>

<artifactId>hbase-server</artifactId>

<version>0.98.2-hadoop2</version>

</dependency>

Scala版如下：

import org.apache.spark._

import org.apache.spark.rdd.NewHadoopRDD

import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor}

import org.apache.hadoop.hbase.client.HBaseAdmin

import org.apache.hadoop.hbase.mapreduce.TableInputFormat

/////////////////////////////////////////////////////////////////////

User: 过往记忆

Date: 14-6-29

Time: 23:59

bolg:

本文地址：/archives/1051

过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货

过往记忆博客微信公共帐号：iteblog_hadoop

/////////////////////////////////////////////////////////////////////

object HBaseTest {

def main(args: Array[String]) {

val sc = new SparkContext(args(0), "HBaseTest",

System.getenv("SPARK_HOME"), SparkContext.jarOfClass(this.getClass))

val conf = HBaseConfiguration.create()

conf.set(TableInputFormat.INPUT_TABLE, args(1))

val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat],

classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],

classOf[org.apache.hadoop.hbase.client.Result])

hBaseRDD.count()

System.exit(0)

}

我们需要在加入如下依赖：

libraryDependencies ++= Seq(

"org.apache.spark" % "spark-core_2.10" % "0.9.1",

"org.apache.hbase" % "hbase" % "0.98.2-hadoop2",

"org.apache.hbase" % "hbase-client" % "0.98.2-hadoop2",

"org.apache.hbase" % "hbase-common" % "0.98.2-hadoop2",

"org.apache.hbase" % "hbase-server" % "0.98.2-hadoop2"

)

　　在测试的时候，需要配置好Hbase、Hadoop环境，否则程序会出现问题，特别是让程序找到Hbase-site.xml配置文件。

package com.iteblog.spark;

	import org.apache.hadoop.conf.Configuration;
	import org.apache.hadoop.hbase.HBaseConfiguration;
	import org.apache.hadoop.hbase.client.Result;
	import org.apache.hadoop.hbase.client.Scan;
	import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
	import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
	import org.apache.hadoop.hbase.protobuf.ProtobufUtil;
	import org.apache.hadoop.hbase.protobuf.generated.ClientProtos;
	import org.apache.hadoop.hbase.util.Base64;
	import org.apache.hadoop.hbase.util.Bytes;
	import org.apache.spark.SparkConf;
	import org.apache.spark.api.java.JavaPairRDD;
	import org.apache.spark.api.java.JavaSparkContext;
	import org.apache.spark.api.java.function.Function2;
	import org.apache.spark.api.java.function.PairFunction;
	import scala.Serializable;
	import scala.Tuple2;

	import java.io.IOException;
	import java.util.List;

	/**
	* User: iteblog
	* Date: 14-6-27
	* Time: 下午5:18
	*blog: http://www.iteblog.com
	*
	* Usage: bin/spark-submit --master yarn-cluster --class com.iteblog.spark.SparkFromHbase
	* --jars /home/q/hbase/hbase-0.96.0-hadoop2/lib/htrace-core-2.01.jar,
	* /home/q/hbase/hbase-0.96.0-hadoop2/lib/hbase-common-0.96.0-hadoop2.jar,
	* /home/q/hbase/hbase-0.96.0-hadoop2/lib/hbase-client-0.96.0-hadoop2.jar,
	* /home/q/hbase/hbase-0.96.0-hadoop2/lib/hbase-protocol-0.96.0-hadoop2.jar,
	* /home/q/hbase/hbase-0.96.0-hadoop2/lib/hbase-server-0.96.0-hadoop2.jar
	* ./spark_2.10-1.0.jar
	*/
	public class SparkFromHbase implements Serializable {

	/**
	* copy from org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil
	*
	* @param scan
	* @return
	* @throws IOException
	*/
	String convertScanToString(Scan scan) throws IOException {
	ClientProtos.Scan proto = ProtobufUtil.toScan(scan);
	return Base64.encodeBytes(proto.toByteArray());
	}

	public void start() {
	SparkConf sparkConf = new SparkConf();
	JavaSparkContext sc = new JavaSparkContext(sparkConf);


	Configuration conf = HBaseConfiguration.create();

	Scan scan = new Scan();
	//scan.setStartRow(Bytes.toBytes("195861-1035177490"));
	//scan.setStopRow(Bytes.toBytes("195861-1072173147"));
	scan.addFamily(Bytes.toBytes("cf"));
	scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col_1"));

	try {

	String tableName = "wyp";
	conf.set(TableInputFormat.INPUT_TABLE, tableName);
	conf.set(TableInputFormat.SCAN, convertScanToString(scan));


	JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD = sc.newAPIHadoopRDD(conf,
	TableInputFormat.class, ImmutableBytesWritable.class,
	Result.class);

	JavaPairRDD<String, Integer> levels = hBaseRDD.mapToPair(
	new PairFunction<Tuple2<ImmutableBytesWritable, Result>, String, Integer>() {
	@Override
	public Tuple2<String, Integer> call(Tuple2<ImmutableBytesWritable, Result> immutableBytesWritableResultTuple2) throws Exception {
	byte[] o = immutableBytesWritableResultTuple2._2().getValue(Bytes.toBytes("cf"), Bytes.toBytes("col_1"));
	if (o != null) {
	return new Tuple2<String, Integer>(new String(o), 1);
	}
	return null;
	}
	});

	JavaPairRDD<String, Integer> counts = levels.reduceByKey(
	new Function2<Integer, Integer, Integer>() {
	@Override
	public Integer call(Integer i1, Integer i2) {
	return i1 + i2;
	}
	});

	List<Tuple2<String, Integer>> output = counts.collect();
	for (Tuple2 tuple : output) {
	System.out.println(tuple._1() + ": " + tuple._2());
	}

	sc.stop();

	} catch (Exception e) {
	e.printStackTrace();
	}
	}

	public static void main(String[] args) throws InterruptedException {
	new SparkFromHbase().start();
	System.exit(0);
	}
	}

Spark读取Hbase中的数据的更多相关文章

IDEA中Spark读Hbase中的数据
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.io.ImmutableBytesWr ...
IDEA中Spark往Hbase中写数据
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.io.ImmutableBytesWr ...
Spark 读取HBase和SolrCloud数据
Spark1.6.2读取SolrCloud 5.5.1 //httpmime-4.4.1.jar // solr-solrj-5.5.1.jar //spark-solr-2.2.2-20161007 ...
Spark读写Hbase中的数据
def main(args: Array[String]) { val sparkConf = new SparkConf().setMaster("local").setAppN ...
用Spark向HBase中插入数据
java代码如下: package db.insert; import java.util.Iterator; import java.util.StringTokenizer; import org ...
使用Hive或Impala执行SQL语句，对存储在HBase中的数据操作
CSSDesk body { background-color: #2574b0; } /*! zybuluo */ article,aside,details,figcaption,figure,f ...
Spark读取HDFS中的Zip文件
1. 任务背景近日有个项目任务,要求读取压缩在Zip中的百科HTML文件,经分析发现,提供的Zip文件有如下特点(=>指代对应解决方案): (1) 压缩为分卷文件 => 只需将解压缩在同 ...
Python中如何读取xls中的数据
要想读取EXCEL中的数据,首先得下载xlrd包,地址:https://pypi.python.org/pypi/xlrd 安装方法:下载解压后,利用windows dos命令进入解压目录eg,c ...
编写SqlHelper使用，在将ExecuteReader方法封装进而读取数据库中的数据时会产生Additional information: 阅读器关闭时尝试调用 Read 无效问题，解决方法与解释
在自学杨中科老师的视频教学时,拓展编写SqlHelper使用,在将ExecuteReader方法封装进而读取数据库中的数据时会产生Additional information: 阅读器关闭时尝试调用 ...

随机推荐

vue过渡动画样式
在进入/离开的过渡中,会有 6 个 class 切换. v-enter:定义进入过渡的开始状态.在元素被插入之前生效,在元素被插入之后的下一帧移除. v-enter-active:定义进入过渡生效时的 ...
linux 去除^M 换行符
一般,在windows下写的shell脚本,都会去linux执行,都会有^M 符号,那么怎么去除呢? 第一种方法:cat -A filename 就可以看到windows下的断元字符 ^M要去除他,最 ...
xshell行号显示
xshell显示行号: 输入命令: vim ~/.vimrc 输入: set nu 之后在打开文件就可以看到行号显示.
《HelloGitHub》第 50 期
兴趣是最好的老师,HelloGitHub 就是帮你找到兴趣! 简介分享 GitHub 上有趣.入门级的开源项目. 这是一个面向编程新手.热爱编程.对开源社区感兴趣人群的月刊,月刊的内容包括:各种编 ...
WebSocket是什么，有什么作用和特点？
WebSocket是一种在单个TCP连接上进行全双工通信的协议. Websocket是基于HTTP协议的,或者说借用了HTTP的协议来完成一部分握手.具有持久化的特性特点: 保持连接状态.与HTTP ...
【HIVE高级笔试必备题型】（组内topN、相邻行的值比较问题）求语文大于数学_/_求文科大于理科成绩的学生
Hive SQL练习之成绩分析数据:[id, 学号,班级,科目,成绩] 1,1,1,yuwen,80 2,1,1,shuxue,85 3,2,1,yuwen,75 4,2,1,shuxue,70 5 ...
（Java实现）洛谷 P1071 潜伏者
题目描述 R国和 S国正陷入战火之中,双方都互派间谍,潜入对方内部,伺机行动.历尽艰险后,潜伏于 S国的 R 国间谍小 C终于摸清了 S 国军用密码的编码规则: 1． S 国军方内部欲发送的原信息经过 ...
Java实现 LeetCode 687 最长同值路径（递归）
687. 最长同值路径给定一个二叉树,找到最长的路径,这个路径中的每个节点具有相同值. 这条路径可以经过也可以不经过根节点. 注意:两个节点之间的路径长度由它们之间的边数表示. 示例 1: 输入: ...
Java实现 LeetCode 632 最小区间（又是先序队列，官方给的是堆）
632. 最小区间你有 k 个升序排列的整数数组.找到一个最小区间,使得 k 个列表中的每个列表至少有一个数包含在其中. 我们定义如果 b-a < d-c 或者在 b-a == d-c 时 a ...
Java实现蓝桥杯VIP 算法训练装箱问题
题目描述有一个箱子容量为V(正整数0≤V≤20000),同时有n个物品(0<n≤30,每个物品有一个体积(正整数). 要求nn个物品中,任取若干个装入箱内,使箱子的剩余空间为最小. 输入输出格 ...

Spark读取Hbase中的数据

Spark读取Hbase中的数据的更多相关文章

随机推荐

热门专题