说明

在上一篇文章dotnetcore 与 hbase 之一——hbase 环境准备结束后,我们已经有了 hbase 数据库环境。接下来就可以利用 thrift 生成 c# hbase 客户端了。如果不了解 thrift,请戳这里

dotnet core 实现的 thrift

thrift 从 0.11.0 版本才有 netcore 的实现加入。在此之前有 .net farmwork 的实现版本。为了使用带有 dotnet core 版本我们选择最老的版本 0.11.0 进行安装。但是这有个问题, hbase 里的 thrift 版本是 0.9.0,版本不一致会导致某些传输协议不能使用,目前测试只有简单二进制协议TBinaryProtocol能用!!!

1. thrift 安装

thrift-0.11.0 可以从这里下载。

ubuntu18.04 安装 thrift 请转到这里或者自行百度。

2. thrift hbase 生成

在 hbase1.2.8 解压文件夹中查找Hbase.thrift,Linux 下可以使用命令find ./ -name Hbase.thrift进行查找。

hbase-1.2.8|⇒ find ./ -name Hbase.thrift
./hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift

打开进入含有Hbase.thrift的目录,执行生成命令thrift --gen netcore Hbase.thrift。一般会有如下警告,可忽略:

[WARNING:/home/hsx/Downloads/hbase-1.2.8-src/hbase-1.2.8/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift:89] The "byte" type is a compatibility alias for "i8". Use "i8" to emphasize the signedness of this type.

执行查看命令ls -al,看生成的文件夹gen-netcore

total 40
drwxr-xr-x gen-netcore
-rw-rw-r-- Hbase.thrift

进入gen-netcore文件夹可看到一些 c#代码:

total 716K
-rw-r--r-- AlreadyExists.cs
-rw-r--r-- BatchMutation.cs
-rw-r--r-- ColumnDescriptor.cs
-rw-r--r-- Hbase.cs
-rw-r--r-- IllegalArgument.cs
-rw-r--r-- IOError.cs
-rw-r--r-- Mutation.cs
-rw-r--r-- TAppend.cs
-rw-r--r-- TCell.cs
-rw-r--r-- TColumn.cs
-rw-r--r-- TIncrement.cs
-rw-r--r-- TRegionInfo.cs
-rw-r--r-- TRowResult.cs
-rw-r--r-- TScan.cs

我们只需新建一个 dotnet 类库项目,比如dotnet new classlib -o HbaseNetCore,直接把这些文件拷贝到类库项目目录中就行。打开该项目,发现它引用了 thrift,但由于找不到引用会报错:

using Thrift;
using Thrift.Collections;
using Thrift.Protocols;
using Thrift.Protocols.Entities;
using Thrift.Protocols.Utilities;
using Thrift.Transports;
using Thrift.Transports.Client;
using Thrift.Transports.Server;

下一步介绍 thrift 项目的获取来解决该引用问题。

3. 获取 thrift 项目

打开 thrift-0.11.0 的解压文件夹,执行查找find ./ -name netcore,如下:

./lib/netcore # c#实现的thrift源码
./tutorial/netcore # c#实现的thrift使用教程
./test/netcore # 测试

我们真正需要的就是./lib/netcore中的thrift项目。事实上,./lib/中有多种语言实现的 thrift,比如:

lib|⇒ ls
as3 csharp erl java lua netcore php st
c_glib d go javame Makefile nodejs py ts
cocoa dart haxe js Makefile.am ocaml rb xml
cpp delphi hs json Makefile.in perl rs

找到./lib/netcore/thrift,将该项目拷贝至第二步中项目HbaseNetCore旁,然后 HbaseNetCore 引用 thrift 项目即可。事实上,在创建所有项目前应该创建一个解决方案来管理项目的,读者请自行创建。

4. 测试

新建测试项目来测试以上生成的客户端。具体实施请参看这里HBase and Thrift in .NET C# Tutorial

总结

以上步骤网上基本都有教程,此处列出来的是当初让笔者困惑的地方,如对读者也有帮助,那再好不过。如读者已经悉知,请自行略过。

由于使用的 thrift 与 hbase 中的版本不一致,导致只能使用简单二进制协议TBinaryProtocol!!!

后期将做一些对HbaseNetCore项目的帮助工具。敬请期待。

dotnetcore 与 hbase 之二——thrift 客户端的制作的更多相关文章

  1. dotnetcore 与 hbase 之三——c# for hbase 客户端的使用

    说明 在上一篇文章dotnetcore 与 hbase 之二--thrift 客户端的制作中已经可以找到 c# hbase 客户端的使用方法了,为什么这里单独列出一篇文章来讲述呢?最简单的理由就是,本 ...

  2. HBase之Table.put客户端流程

    首先,让我们从HTable.put方法开始.由于这一节有很多方法只是简单的参数传递,我就简单略过,但是,关键的方法我还是会截图讲解,所以希望大家尽可能对照源码进行流程分析.另外,在这一节,我单单介绍p ...

  3. dotnetcore 与 hbase 之一——hbase 环境准备

    转载请注明出处www.cnblogs.com/hsxian! 总述 这是一系列针对 .net core (c#) 读取 hbase 的教程.本人苦于找不到 c#的原生 hbase 客户端,多番寻觅之下 ...

  4. HBase之Table.put客户端流程(续)

    上篇博文中已经谈到,有两个流程没有讲到.一个是MetaTableAccessor.getRegionLocations,另外一个是ConnectionImplementation.cacheLocat ...

  5. idea+maven+spring+cxf创建webservice应用(二)生成客户端程序

    idea+maven+spring+cxf创建webservice应用(二)生成客户端程序,以上一篇为基础"idea+maven+spring+cxf创建webservice应用" ...

  6. Blazor组件自做二 : 使用JS隔离制作手写签名组件

    Blazor组件自做二 : 使用JS隔离制作手写签名组件 本文相关参考链接 JavaScript 模块中的 JavaScript 隔离 Viewer.js工程 Blazor组件自做一 : 使用JS隔离 ...

  7. 九、 HBase SHELL、 JAVA 和 Thrift 客户端

    HBase 由 Java 语言实现,同时他也是最主要最高效的客户端. 相关的类在org.apache.hadoop.hbase.client 包中.涵盖所有 增删改查 API . 主要的类包含: HT ...

  8. 【hbase】使用thrift with python 访问HBase

    HBase 版本: 0.98.6 thrift   版本: 0.9.0 使用 thrift client with python 连接 HBase 报错: Traceback (most recent ...

  9. Hbase 基础 - shell 与 客户端

    版权说明:  本文章版权归本人及博客园共同所有,转载请标明原文出处(http://www.cnblogs.com/mikevictor07/),以下内容为个人理解,仅供参考. 一.简介 Hbase是在 ...

随机推荐

  1. Oracle Goldengate是如何保证数据有序和确保数据不丢失的?

    工作中一直在用Oracle 的中间件Oracle GondenGate 是如何保证消息的有序和不丢失呢? Oracle GoldenGate逻辑架构 首先,先看一下Oracle GoldenGate ...

  2. [网络协议]TCP粘包分析

    关于socket粘包,socket缓冲区设置的问题,记录一下: 一 .两个简单概念长连接与短连接: 长连接     Client方与Server方先建立通讯连接,连接建立后不断开, 然后再进行报文发送 ...

  3. 2. 软件数据流图(DFD)

    数据流图,简称DFD,是SA方法中用于表示系统逻辑模型的一种工具,它以图形的方式描绘数据在系统中流动和处理的过程,由于它只反映系统必须完成的逻辑功能,所以它是一种功能模型. 下图是一个飞机机票预订系统 ...

  4. 使用flink Table &Sql api来构建批量和流式应用(2)Table API概述

    从flink的官方文档,我们知道flink的编程模型分为四层,sql层是最高层的api,Table api是中间层,DataStream/DataSet Api 是核心,stateful Stream ...

  5. 20190101.DDD笔记

    建立领域模型步骤 根据提供的信息完善主要业务场景和业务流程: 根据业务流程识别领域事件并按照时序排列: 针对领域事件进行命令识别: 针对领域事件和命令进行聚合和子域的初步识别: 在识别的subdoma ...

  6. MFC在一个工程中启动其他工程的exe文件

    说明:有的时候把两个工程合并,但是偷懒不想在工程中添加代码,所以想到了这个办法,仅限偷懒哈哈哈哈 方法:新建一个主程序,在主程序的界面中添加按钮,在按钮的程序代码中添加以下语句: void CMain ...

  7. Spring Boot2(十四):单文件上传/下载,文件批量上传

    文件上传和下载在项目中经常用到,这里主要学习SpringBoot完成单个文件上传/下载,批量文件上传的场景应用.结合mysql数据库.jpa数据层操作.thymeleaf页面模板. 一.准备 添加ma ...

  8. java-org.springframework.core.convert.ConversionFailedException- 前端传string解析date异常

    关于SpringMVC前台日期作为实体类对象参数类型转换错误解决 异常信息: Field error in object 'tblHouse' on field 'houseTime': reject ...

  9. pyqt QT设计师制作关于对话框(软件版权申明)

    一.实验环境 1.anaconda2 2.5.0 + python2.7 2.pyinstaller3.0 二.操作步骤 2.1 启动designer.exe 2.2 单击“文件” -> “新建 ...

  10. Vue的基本使用(三)

    1.过滤器 1.局部过滤器,在当前组件内部使用过滤器,给某些数据添油加醋. //声明 filters:{ "过滤器的名字":function(val,a,b){ //a就是alex ...