博文参考:https://www.cnblogs.com/tashanzhishi/p/10917956.html

如果你们学习过Python,可以用Python来对Hbase进行操作。

happybase使用:https://happybase.readthedocs.io/en/latest/user.html#establishing-a-connection

一、Linux下安装Thrift(一般CDH集群上都会安装,如未安装,请参考下面步骤)

0.11.0版本下载地址:http://mirrors.hust.edu.cn/apache/thrift/0.11.0/thrift-0.11.0.tar.gz

执行如下命令安装Thrift依赖:

yum install automake bison flex g++ git libboost1.55 libevent-dev libssl-dev libtool make pkg-config

tar -zxvf thrift-0.11.0.tar.gz
cd thrift-0.11.0
./configure --with-cpp --with-boost --with-python --without-csharp --with-java --without-erlang --without-perl --with-php --without-php_extension --without-ruby --without-haskell  --without-go
make
make install
在Master中Hbase安装目录下的bin目录启动thrift服务:

./hbase-daemon.sh start thrift

二、安装 happybase 包

pip install happybase

三、表操作DDL

创建连接:

connection = happybase.Connection('192.168.3.45',port=9090)        #链接,端口默认是9090 hbase thrift 启动的默认端口也是9090

列出所有表:

table_name_list = connection.tables()         # connection.tables():获取Hbase实例中的表名列表,返回一个list

获取表:

table = connection.table(name,user_prefix=True)     # connection.table(name,user_prefix=True):获取一个表对象,返回一个happybase.Table对象:
name:表名
user_prefix:是否使用表前缀,默认为True

禁用表:在做一些删除操作之前必须先禁用表

connection.disable_table(name) #disable_table(name):禁用表,无返回值
name:表名

启用表:

connection.enable_table(name) # enable_table(name):启用表,无返回值
name:表名

创建表:

families = {
    "cf":dict(),
    "df":dict()
}
connection.create_table(name,families)      # 如果连接时,有传递表前缀参数时,真实表名将会是:"{}_{}".format(table_prefix,name)
name:表名
families:列族

删除表:

connection.delete_table(name,disable=False) #delete_table(name,disable=False):删除表,无返回值  默认是false,若要删除改为true
name:表名
disable:是否先禁用表

四、数据操作DML
若要对表进行数据插入等操作,需要先获取表实例。
获取表实例:

connection = happybase.Connection('192.168.3.45',port=9090)
connection.open()
table = connection.table('cmis:intf_trade_log_tmp')

获取单元格cells

cells(row, column, versions=None, timestamp=None, include_timestamp=False)  # 获取单元格数据,返回一个list
row:行
column:列
versions:获取的最大版本数量,默认None,即获取所有
timestamp:时间戳,默认None,即获取所有时间戳版本的数据。可指定一个时间戳,获取小于此时间戳版本的所有数据
include_timestamp:是否返回时间戳,默认False

content = table.cells('00033015017DC6537E4ECEEB3351C183','pk_value:id_no')
print content

["'422202199108263422'"]

删除指定行数据:

delete(row, columns=None, timestamp=None, wal=True):删除指定行数据,无返回值
row:行
columns:列,默认为None,即删除所有列,可传入一个list或tuple来指定删除列
timestamp:时间戳,默认为None,即删除所有,可传入一个时间戳来删除小于等于此时间戳的所有数据
wal:是否写入wal,默认为True

table.delete(row, columns=None, timestamp=None, wal=True)

插入数据:

put(row, data, timestamp=None, wal=True):插入数据,无返回值
row: 行
data: 数据,dict类型,{列:值}构成,列与值皆为str类型
timestamp:时间戳,默认None,即写入当前时间戳
wal:是否写入wal,默认为True

# 在row1行,cf:1列插入值1

table.put("row1",{"cf:1":"1"}

获取一行数据:
row(row, columns=None, timestamp=None, include_timestamp=False):获取一行数据,返回一个dict
row:行
columns: 列,默认为None,即获取所有列,可传入一个list或tuple来指定获取列
timestamp:时间戳。默认为None,即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
include_timestamp:是否返回时间戳数据,默认为False

info = table.row(row, columns=None, timestamp=None, include_timestamp=False)

获取多行数据:

rows(rows, columns=None, timestamp=None, include_timestamp=False):获取多行数据,返回一个list
rows:行,可传入一个list或tuple来指定获取
columns: 列,默认为None,即获取所有列,可传入一个list或tuple来指定获取列
timestamp:时间戳。默认为None,即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
include_timestamp:是否返回时间戳数据,默认为False

info = table.rows(rows, columns=None, timestamp=None, include_timestamp=False)

获取扫描器:

scan(row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False):获取一个扫描器,返回一个generator
row_start:起始行,默认None,即第一行,可传入行号指定从哪一行开始
row_stop:结束行,默认None,即最后一行,可传入行号指定到哪一行结束(不获取此行数据)
row_prefix:行号前缀,默认为None,即不指定前缀扫描,可传入前缀来扫描符合此前缀的行
columns:列,默认为None,即获取所有列,可传入一个list或tuple来指定获取列
filter:过滤字符串
timestamp:时间戳。默认为None,即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
include_timestamp:是否返回时间戳数据,默认为False
batch_size:用于检索结果的批量大小
scan_batching:服务端扫描批处理
limit:数量
sorted_columns:是否返回排序的列(根据行名称排序)
reverse:是否执行反向扫描

scanner = table.scan(row_start=None, row_stop=None, row_prefix=None,
columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False)

《记录一下》

python 操作Hbase 详解的更多相关文章

  1. python 操作zookeeper详解

    ZooKeeper 简介 ZooKeeper 是一个分布式的.开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 Hbase 的重要组件.它是一 ...

  2. python 操作RabbitMq详解

    一.简介: RabbitMq 是实现了高级消息队列协议(AMQP)的开源消息代理中间件.消息队列是一种应用程序对应用程序的通行方式,应用程序通过写消息,将消息传递于队列,由另一应用程序读取 完成通信. ...

  3. python操作redis详解

    https://www.cnblogs.com/koka24/p/5841826.html

  4. Python编程之列表操作实例详解【创建、使用、更新、删除】

    Python编程之列表操作实例详解[创建.使用.更新.删除] 这篇文章主要介绍了Python编程之列表操作,结合实例形式分析了Python列表的创建.使用.更新.删除等实现方法与相关操作技巧,需要的朋 ...

  5. Python字符串切片操作知识详解

    Python字符串切片操作知识详解 这篇文章主要介绍了Python中字符串切片操作 的相关资料,需要的朋友可以参考下 一:取字符串中第几个字符 print "Hello"[0] 表 ...

  6. 图解大数据 | 海量数据库查询-Hive与HBase详解

    作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-det ...

  7. Python 字符串方法详解

    Python 字符串方法详解 本文最初发表于赖勇浩(恋花蝶)的博客(http://blog.csdn.net/lanphaday),如蒙转载,敬请保留全文完整,切勿去除本声明和作者信息.        ...

  8. Python中dict详解

    from:http://www.cnblogs.com/yangyongzhi/archive/2012/09/17/2688326.html Python中dict详解 python3.0以上,pr ...

  9. 【python进阶】详解元类及其应用2

    前言 在上一篇文章[python进阶]详解元类及其应用1中,我们提到了关于元类的一些前置知识,介绍了类对象,动态创建类,使用type创建类,这一节我们将继续接着上文来讲~~~ 5.使⽤type创建带有 ...

随机推荐

  1. 123457123456#0#-----com.yuming.HitMouse01--前拼后广--幼儿打地鼠游戏

    com.yuming.HitMouse01--前拼后广--幼儿打地鼠游戏

  2. (一)Rational Rose 2007 下载安装

    因为有画UML图的需求,所以得在电脑上安装Rational Rose.开始准备安装Rational Rose 2003,但是破解过程过于繁琐而且似乎一直遇到各种问题,就决定安装Rational Ros ...

  3. PostgreSQL学习笔记——事务

    事务时需要在同一处理单元中执行的一系列更新处理的集合.通过使用事务,可以对数据库中的数据更新处理的提交和取消进行管理. 事务处理的终止指令包括COMMIT(提交处理)和ROLLBACK(取消处理)两种 ...

  4. 【Leetcode_easy】645. Set Mismatch

    problem 645. Set Mismatch 题意: solution1: 统计每个数字出现的次数了,然后再遍历次数数组,如果某个数字出现了两次就是重复数,如果出现了0次,就是缺失数. 注意:如 ...

  5. [opencv] copyTo函数的使用方法

    OpenCV中image.copyTo()有两种形式: 1.image.copyTo(imageROI),作用是把image的内容粘贴到imageROI: 2.image.copyTo(imageRO ...

  6. 【opencv】split

    opencv-split Divides a multi-channel array into several single-channel arrays. code ,,,,,,,,,,,}; Ma ...

  7. web前端学习路程

    学习路程: 1.HTML和CSS基础 2.JavaScript语言 3.jQuery and ajax 4.综合网站实践 5.优化及调试

  8. JMETER安装教程

    jmeter的安装教程 1:安装jdk并且配置好环境变量,此处就不做赘述(前面的文档中有) 2:下载jmeter文件和jmeter的插件文件 JMeter:http://jmeter.apache.o ...

  9. redcon, Redis兼容的服务器框架

    源代码名称:redcon 源代码网址:http://www.github.com/tidwall/redcon redcon源代码文档 redcon源代码下载 Git URL: 复制代码 git:// ...

  10. 最新 游族网络java校招面经 (含整理过的面试题大全)

    从6月到10月,经过4个月努力和坚持,自己有幸拿到了网易雷火.京东.去哪儿.游族网络等10家互联网公司的校招Offer,因为某些自身原因最终选择了游族网络.6.7月主要是做系统复习.项目复盘.Leet ...