dotnetcore 与 hbase 之二——thrift 客户端的制作
说明
在上一篇文章dotnetcore 与 hbase 之一——hbase 环境准备结束后,我们已经有了 hbase 数据库环境。接下来就可以利用 thrift 生成 c# hbase 客户端了。如果不了解 thrift,请戳这里。
dotnet core 实现的 thrift
thrift 从 0.11.0 版本才有 netcore 的实现加入。在此之前有 .net farmwork 的实现版本。为了使用带有 dotnet core 版本我们选择最老的版本 0.11.0 进行安装。但是这有个问题, hbase 里的 thrift 版本是 0.9.0,版本不一致会导致某些传输协议不能使用,目前测试只有简单二进制协议TBinaryProtocol能用!!!
1. thrift 安装
thrift-0.11.0 可以从这里下载。
ubuntu18.04 安装 thrift 请转到这里或者自行百度。
2. thrift hbase 生成
在 hbase1.2.8 解压文件夹中查找Hbase.thrift,Linux 下可以使用命令find ./ -name Hbase.thrift进行查找。
hbase-1.2.8|⇒ find ./ -name Hbase.thrift
./hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift
打开进入含有Hbase.thrift的目录,执行生成命令thrift --gen netcore Hbase.thrift。一般会有如下警告,可忽略:
[WARNING:/home/hsx/Downloads/hbase-1.2.8-src/hbase-1.2.8/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift:89] The "byte" type is a compatibility alias for "i8". Use "i8" to emphasize the signedness of this type.
执行查看命令ls -al,看生成的文件夹gen-netcore
total 40
drwxr-xr-x gen-netcore
-rw-rw-r-- Hbase.thrift
进入gen-netcore文件夹可看到一些 c#代码:
total 716K
-rw-r--r-- AlreadyExists.cs
-rw-r--r-- BatchMutation.cs
-rw-r--r-- ColumnDescriptor.cs
-rw-r--r-- Hbase.cs
-rw-r--r-- IllegalArgument.cs
-rw-r--r-- IOError.cs
-rw-r--r-- Mutation.cs
-rw-r--r-- TAppend.cs
-rw-r--r-- TCell.cs
-rw-r--r-- TColumn.cs
-rw-r--r-- TIncrement.cs
-rw-r--r-- TRegionInfo.cs
-rw-r--r-- TRowResult.cs
-rw-r--r-- TScan.cs
我们只需新建一个 dotnet 类库项目,比如dotnet new classlib -o HbaseNetCore,直接把这些文件拷贝到类库项目目录中就行。打开该项目,发现它引用了 thrift,但由于找不到引用会报错:
using Thrift;
using Thrift.Collections;
using Thrift.Protocols;
using Thrift.Protocols.Entities;
using Thrift.Protocols.Utilities;
using Thrift.Transports;
using Thrift.Transports.Client;
using Thrift.Transports.Server;
下一步介绍 thrift 项目的获取来解决该引用问题。
3. 获取 thrift 项目
打开 thrift-0.11.0 的解压文件夹,执行查找find ./ -name netcore,如下:
./lib/netcore # c#实现的thrift源码
./tutorial/netcore # c#实现的thrift使用教程
./test/netcore # 测试
我们真正需要的就是./lib/netcore中的thrift项目。事实上,./lib/中有多种语言实现的 thrift,比如:
lib|⇒ ls
as3 csharp erl java lua netcore php st
c_glib d go javame Makefile nodejs py ts
cocoa dart haxe js Makefile.am ocaml rb xml
cpp delphi hs json Makefile.in perl rs
找到./lib/netcore/thrift,将该项目拷贝至第二步中项目HbaseNetCore旁,然后 HbaseNetCore 引用 thrift 项目即可。事实上,在创建所有项目前应该创建一个解决方案来管理项目的,读者请自行创建。
4. 测试
新建测试项目来测试以上生成的客户端。具体实施请参看这里HBase and Thrift in .NET C# Tutorial。
总结
以上步骤网上基本都有教程,此处列出来的是当初让笔者困惑的地方,如对读者也有帮助,那再好不过。如读者已经悉知,请自行略过。
由于使用的 thrift 与 hbase 中的版本不一致,导致只能使用简单二进制协议TBinaryProtocol!!!
后期将做一些对HbaseNetCore项目的帮助工具。敬请期待。
dotnetcore 与 hbase 之二——thrift 客户端的制作的更多相关文章
- dotnetcore 与 hbase 之三——c# for hbase 客户端的使用
说明 在上一篇文章dotnetcore 与 hbase 之二--thrift 客户端的制作中已经可以找到 c# hbase 客户端的使用方法了,为什么这里单独列出一篇文章来讲述呢?最简单的理由就是,本 ...
- HBase之Table.put客户端流程
首先,让我们从HTable.put方法开始.由于这一节有很多方法只是简单的参数传递,我就简单略过,但是,关键的方法我还是会截图讲解,所以希望大家尽可能对照源码进行流程分析.另外,在这一节,我单单介绍p ...
- dotnetcore 与 hbase 之一——hbase 环境准备
转载请注明出处www.cnblogs.com/hsxian! 总述 这是一系列针对 .net core (c#) 读取 hbase 的教程.本人苦于找不到 c#的原生 hbase 客户端,多番寻觅之下 ...
- HBase之Table.put客户端流程(续)
上篇博文中已经谈到,有两个流程没有讲到.一个是MetaTableAccessor.getRegionLocations,另外一个是ConnectionImplementation.cacheLocat ...
- idea+maven+spring+cxf创建webservice应用(二)生成客户端程序
idea+maven+spring+cxf创建webservice应用(二)生成客户端程序,以上一篇为基础"idea+maven+spring+cxf创建webservice应用" ...
- Blazor组件自做二 : 使用JS隔离制作手写签名组件
Blazor组件自做二 : 使用JS隔离制作手写签名组件 本文相关参考链接 JavaScript 模块中的 JavaScript 隔离 Viewer.js工程 Blazor组件自做一 : 使用JS隔离 ...
- 九、 HBase SHELL、 JAVA 和 Thrift 客户端
HBase 由 Java 语言实现,同时他也是最主要最高效的客户端. 相关的类在org.apache.hadoop.hbase.client 包中.涵盖所有 增删改查 API . 主要的类包含: HT ...
- 【hbase】使用thrift with python 访问HBase
HBase 版本: 0.98.6 thrift 版本: 0.9.0 使用 thrift client with python 连接 HBase 报错: Traceback (most recent ...
- Hbase 基础 - shell 与 客户端
版权说明: 本文章版权归本人及博客园共同所有,转载请标明原文出处(http://www.cnblogs.com/mikevictor07/),以下内容为个人理解,仅供参考. 一.简介 Hbase是在 ...
随机推荐
- 基于Dapper的开源Lambda扩展,且支持分库分表自动生成实体之基础介绍
LnskyDB LnskyDB是基于Dapper的Lambda扩展,支持按时间分库分表,也可以自定义分库分表方法.而且可以T4生成实体类免去手写实体类的烦恼. 文档地址: https://lining ...
- 前端Web浏览器基于Flash如何实时播放监控视频画面(一)之获取监控摄像头的RTSP流
本片文章只是起到抛砖引玉的作用,能从头到尾走通就行,并不做深入研究.为了让文章通俗易懂,尽量使用白话描述. 0x001: 获取 现在市场上普见的摄像头都支持RTSP协议,如果你不懂什么是RTSP协议, ...
- Codeforces 348B:Apple Tree(DFS+LCM+思维)
http://codeforces.com/contest/348/problem/B 题意:给一棵树,每个叶子结点有w[i]个苹果,每个子树的苹果数量为该子树所有叶子结点苹果数量之和,要使得每个结点 ...
- 关于在使用scrapy-redis分布式踩过的那些坑:
自己的案列:win7上安装ubuntu (win7作为slaver,ubuntu作为master ) 修改配置文件redis.conf 1)打开配置文件把下面对应的注释掉 # bind 127.0.0 ...
- 寻觅Azure上的Athena和BigQuery (二):神奇的PolyBase
前情回顾 在“数据湖”概念与理论逐渐深入人心的今天,面向云存储的交互式查询这个需求场景显得愈发重要.这是因为原生的云存储(主要指S3这样的对象存储)既能够容纳大容量的明细数据,又能在性能和成本间取得一 ...
- c++学习书籍推荐《超越C++标准库:Boost库导论》下载
<超越C++标准库Boost库导论>不仅介绍了Boost库的功能.使用方法及注意事项,而且还深入讨论了Boost库的设计理念.解决问题的思想和技巧以及待处理的问题.因此,本书是一本了解Bo ...
- html解析器:Html Agility Pack
去掉注释.样式.和js代码: foreach(var script in doc.DocumentNode.Descendants("script").ToArray()) scr ...
- 雅阁微信群、雅阁车友群、十代雅阁交流微信QQ群
最近一直在关注第十代雅阁,不论是普通汽油版本还是油电混动版本都很不错,在网上看到很多评测文章和视频 后续都会整理发布到微信群中. 由于论坛发帖,博客发文都不是很方便,为了及时沟通,先创建了微信群,方便 ...
- [记录]Python的master-worker和epoll模式
#master-worker模型: #coding:utf-8 import os import sys import socket import time import traceback impo ...
- 7月新的开始 - LayUI的基本使用 - 分页
LayUI 分页处理 数据展示是以表格的形式展示的.使用模块如下: 首先使用内置模块-数据表格 然后使用内置模块-分页 官方文档地址:https://www.layui.com/doc/ 官方示例地址 ...