golang高性能RPC:Apache Thrift安装使用完全攻略
在企业应用中RPC的使用可以说是十分的广泛,使用该技术可以方便的与各种程序交互而不用考虑其编写使用的语言。
如果你对RPC的概念还不太清楚,可以点击这里。
现今市面上已经有许多应用广泛的RPC框架,比如GRPC,而今天我们要介绍的是同样使用广泛的Apache Thrift。这篇文章将带你安全越过所有坑点,请放心食用。
Thrift简介
Thrift是Facebook的一个开源项目,后来进入Apache进行孵化。Thrift也是支持跨语言的,所以它有自己的一套IDL。目前它支持几乎所有主流的编程语言:C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml and Delphi and other languages。Thrift可以支持多种信息格式,除了Thrift私有的二进制编码规则和一种LVQ(类似于TLV消息格式)的消息格式,还有常规的JSON格式。Thrift的网络协议建立在TCP协议基础上,并且支持阻塞式IO模型和多路IO复用模型。我们将在后文详细讲解Apache Thrift的使用。Thrift也是目前最流行的RPC框架之一,从网络上各种性能测试情况开,Thrift的性能都是领先的。Thrift的官网地址为:http://thrift.apache.org/
安装
首先是安装golang的库:
go get git.apache.org/thrift.git/lib/go/thrift/...
为了能编译Thrift IDL,我们还得编译thrift-compiler,主要的坑全在这里。
首先,如果你在用ubuntu,千万别用apt去安装,因为官方源和所有ppa里的compiler版本严重过时了;
其次网上的单独编译compiler教程不要看,基本都过时了,现在thrift的版本已经是1.0.0-dev,如果按那些教程编译出来的工具是无法和go get安装的库一起使用的,而且很大概率你连正常编译都无法进行,如果不使用go get,那么可以按照这里的方法2进行安装。(方法2里编译compiler的步骤请跳过,使用我在下面要讲的方法)
好了下面我们开始安装thrift-compiler,首先是安装依赖:
sudo apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libboost-filesystem-dev libboost-thread-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev
接着我们clone最新的thrift仓库,然后编译:
git clone https://github.com/apache/thrift
cd thrift
./bootstrap.sh
./configure --without-qt4 --wihout-qt5
make
sudo make install
解释一下,--without-qt*是为了加快编译并防止报错,因为qt始终要依赖moc,很容易出问题而且我们一般也用不到,所以舍去。
如果你也不需要其他语言的生成功能,可以用--without-[name]来去除,具体参见./configure --help。
make也可以改成”make -j N“,N是你cpu可用核心数,并行编译加快速度。
安装好后我们运行thrift命令验证一下安装:
thrift -version
# Thrift version 1.0.0-dev
这样Thrift就算安装完成了。
另外,不使用go get而用源码进行安装时,请保证thrift-compiler和你安装的库的版本相同,否则会有数不清的问题出现。当然,使用go get+自行编译的安装方法不会有这些问题。
Thrift的使用
首先我们要编写IDL文件,定义RPC的接口和数据。如果你还不熟悉thrift IDL的语法,可以参考这里,它和c/c++的语法十分相似,上手起来也较容易。
我们来看一个例子,我们定义一个“compute”模块,在其中定义DivMod(计算商和模)和MulRange(计算阶乘)两个服务,并定义一种包含DivMod计算结果的数据类型:
namespace go compute struct Result {
: i64 div;
: i64 mod;
} service DivMod {
Result DoDivMod(:i64 arg1, :i64 arg2);
} service MulRange {
string BigRange(:i64 max)
}
Thrift IDL
然后我们用thrift-compiler将其编译成golang代码:
thrift -r --gen go compute.thrift
它会在当前目录下生成一个gen-go目录,在其中有个compute目录,那就是我们生成的模块,copy出来放在$GOPATH里。
接下来我们来实现服务端,现在我们只定义了接口,而没有实现它,建立服务端需要如下几个步骤:
- 实现服务处理接口,在1.0版本中,接口第一个参数需要是context.Context,用以支持取消或对RPC调用设置超时。
- 创建 Processor,也就是把实现的接口注册进RPC服务创建 Transport,Transport用于管理网络IO。它是一个interface,可以是TSocket,TServerSocket以及NewTHttpClient*或TTransportFactory.GetTransport返回的对象。
- 创建 Protocol,也就是传输协议,一般使用二进制协议来传输数据,当然也可以选择json或其他格式。
- 创建server,使用前面的Processor,Transport,Protocol以及ip地址来创建服务端。
- 运行server。
下面我们先实现接口:
// computeThrift 实现service中定义的方法
type divmodThrift struct {
} // 每个方法除了定义的返回值之外还要返回一个error,包括定义成void的方法。自定义类型会在名字之后加一条下划线
// 暂时用不到context,所以忽略
func (d *divmodThrift) DoDivMod(_ context.Context, arg1, arg2 int64) (*compute.Result_, error) {
divRes := int64(arg1 / arg2)
modRes := int64(arg1 % arg2)
// 生成的用于生成自定义数据对象的函数
res := compute.NewResult_()
res.Div = divRes
res.Mod = modRes return res, nil
} // 尽量一个struct对应一个service
type mulrangeThrift struct {
} func (m *mulrangeThrift) BigRange(_ context.Context, max int64) (string, error) {
result := new(big.Int)
result.SetString("", )
result = result.MulRange(, max) return result.String()
}
接口实现之后我们就要建立并启动服务器了,首先我们先建立Transport:
// 创建服务器
serverTransport, err := thrift.NewTServerSocket(net.JoinHostPort("127.0.0.1", ""))
if err != nil {
fmt.Println("Error!", err)
os.Exit()
}
然后创建传输协议:
// 创建二进制协议
protocolFactory := thrift.NewTBinaryProtocolFactoryDefault()
transportFactory := thrift.NewTFramedTransportFactory(thrift.NewTTransportFactory())
接着我们把实现的接口注册成Processor:
// 创建Processor,用一个端口处理多个服务
divmodProcessor := compute.NewDivModProcessor(new(divmodThrift))
mulrangeProcessor := compute.NewMulRangeProcessor(new(mulrangeThrift)) multiProcessor := thrift.NewTMultiplexedProcessor()
// 给每个service起一个名字
multiProcessor.RegisterProcessor("divmod", divmodProcessor)
multiProcessor.RegisterProcessor("mulrange", mulrangeProcessor)
这里我们用TMultiplexedProcessor来实现一个端口监听多个服务。
最后就是启动服务器:
// 启动服务器
server := thrift.NewTSimpleServer4(multiProcessor, serverTransport, transportFactory, protocolFactory)
server.Serve()
// 退出时停止服务器
defer server.Stop()
启动服务器这里也有坑点,网上有文章说使用NewTSimpleServer2可以直接启用二进制格式的数据传输,这是错的,想用二进制或其他格式传输数据,必须明确生成对应的ProtocolFactory并使用NewTSimpleServer4创建服务器。官方给的例子里就是这样做的,我也是在被反复坑了数次之后才确认了这个问题。
客户端:
要建立客户端,也要按照如下几个步骤:
- 创建 Transport
- 创建 Protocol
- 基于 Potocol 创建 Client
- 打开 Transport(不一定要在client创建后才打开,但必须在protocol创建后,接口调用前打开)
- 调用接口
下面我们来看代码:
func main() {
// 先建立和服务器的连接的socket,再通过socket建立Transport
socket, err := thrift.NewTSocket(net.JoinHostPort("127.0.0.1", ""))
if err != nil {
fmt.Println("Error opening socket:", err)
os.Exit()
}
transport := thrift.NewTFramedTransport(socket) // 创建二进制协议
protocol := thrift.NewTBinaryProtocolTransport(transport)
// 打开Transport,与服务器进行连接
if err := transport.Open(); err != nil {
fmt.Fprintln(os.Stderr, "Error opening socket to "+"localhost"+":"+"", err)
os.Exit()
}
defer transport.Close() // 接口需要context,以便在长操作时用户可以取消RPC调用
ctx := context.Background() // 使用divmod服务
divmodProtocol := thrift.NewTMultiplexedProtocol(protocol, "divmod")
// 创建代理客户端,使用TMultiplexedProtocol访问对应的服务
c := thrift.NewTStandardClient(divmodProtocol, divmodProtocol) client := compute.NewDivModClient(c)
res, err := client.DoDivMod(ctx, , )
if err != nil {
fmt.Println(err)
os.Exit()
}
fmt.Println(res) // 使用mulrange服务
// 步骤与上面的相同
mulProtocol := thrift.NewTMultiplexedProtocol(protocol, "mulrange")
c = thrift.NewTStandardClient(mulProtocol, mulProtocol)
client2 := compute.NewMulRangeClient(c)
num, err := client2.BigRange(ctx, )
if err != nil {
fmt.Println(err)
os.Exit()
}
fmt.Println(num)
}
当然,大部分情况下我们可能都是用单服务,对于单服务来说,0.11版本的接口和1.0并没有变化,这个找网上的例子即可。
go build之后我们分别运行client和server。
下面是输出,计算了100÷3和100%3的结果,还有100的阶乘,客户端调用接口后检查err,没有错误发生就输出结果:
这样一个支持多服务的RPC示例就完成了。
如果有疑问或者建议,欢迎在评论指出。
祝玩得愉快!
golang高性能RPC:Apache Thrift安装使用完全攻略的更多相关文章
- 【转】Hive安装及使用攻略
Posted: Jul 16, 2013 Tags: HadoophiveHiveQLsql分区表 Comments: 18 Comments Hive安装及使用攻略 让Hadoop跑在云端系列文章, ...
- Android-x86虚拟机安装配置全攻略
转自Android-x86虚拟机安装配置全攻略 注:这里安装从简,具体请参考虚拟机Vmware安装运行安卓4.0详细教程 Android-x86虚拟机安装配置网上有很多,但是全部说明白的确不多,希望这 ...
- 【Linux】【secureCRT】下载,安装,激活攻略
以前公司使用的是SSH访问Linux服务器,今天争取了能看到数据,问了同事使用的是secureCRT,然后自己就装了一个. 下载地址:https://www.vandyke.com/download/ ...
- Apache Thrift安装介绍 (ubuntu)
apache thrift是一种常用的远程服务调用框架. 下面对apache thrift的安装进行介绍: 下面是thrift的源码安装: Debian/Ubuntu (14+) 编译运行依赖安装 $ ...
- phpMyAdmin 安装教程全攻略
管理MYSQL数据库的最好工具是PHPmyAdmin,现在最新版本是phpMyAdmin 2.9.0.2,这是一个国际上开源的软件,一直在更新版本,你可以从 http://www.phpmyadmin ...
- 长平狐 Android-x86虚拟机安装配置全攻略
Android-x86虚拟机安装配置网上有很多,但是全部说明白的确不多,希望这篇文章能把主要的配置介绍给您,帮助您少走一些弯路. 本文分别针对VMWare和Virtual Box两种虚拟机介绍安装配置 ...
- Mac安装windows虚拟机攻略
5月初从阿里滚粗,然后失去了公司发的Mac Air.说实话Mac机器确实比windows好用一些,于是怒而买了一个Mac Pro. 结果一个星期后我从学校带出来的联想笔记本又被老师通知要进行固定资产盘 ...
- mysql 在 win 安装 最全攻略(附转载的乱码终极解决方案)以及解决data too long for column 'name' at row 1, 一种可能就是因为编码一致性问题.
[博客园cnblogs笔者m-yb原创,转载请加链接,公众号aandb7, github.com/mayangbo666,QQ群927113708] https://www.cnblogs.com/m ...
- MacBook使用笔记2 - 安装windows虚拟机攻略
转载请标注原链接:http://www.cnblogs.com/xczyd/p/5498878.html 5月初从阿里滚粗,然后失去了公司发的Mac Air.说实话Mac机器确实比windows好用一 ...
随机推荐
- 交叉编译ffmpeg(hi3520d)
./configure \--prefix=/usr/local/ffmpeg-3520D \--cross-prefix=/opt/hisi-linux-nptl/arm-hisiv100-linu ...
- ubuntu16 gitlab的简单安装
1.安装好ubuntu的ssh服务,使用xshell登录虚拟机 2.下载安装包: wget -c https://downloads-packages.s3.amazonaws.com/ubuntu ...
- ESP32随笔汇总
版权声明:本文为博主原创文章,未经博主本人不得转载.联系邮箱:mynoticeable@gmail.com 1.ubuntu 14.04下搭建esp32开发环境 2.UBUNTU14.0.4安装ecl ...
- 大叔学ML第三:多项式回归
目录 基本形式 小试牛刀 再试牛刀 调用类库 基本形式 上文中,大叔说道了线性回归,线性回归是个非常直观又简单的模型,但是很多时候,数据的分布并不是线性的,如: 如果我们想用高次多项式拟合上面的数据应 ...
- 《Tornado介绍》—— 读后总结
- Java语言中的面向对象特性
面向对象的基本特征 1.封装性 封装性就是把对象的属性和服务结合成一个独立的相同单位,并尽可能隐蔽对象的内部细节,包含两个含义: ◇ 把对象的全部属性和全部服务结合在一起,形成一个不可分割的独立单位( ...
- 每天学点SpringCloud(七):路由器和过滤器-Zuul
为什么要使用Zuul 先来看一下下方这个图 假如现在我们具有四个微服务,分别是用户.订单.支付.催收微服务,它们的调用方式分别是使用http.restful.thrift.kafka.这个时候如果我们 ...
- 第89节:Java中的反射技术
第89节:Java中的反射技术 反射技术是动态的获取指定的类,和动态的调用类中的内容(没有类前就可以创建对象,将对象的动作完成,这就是动态的获取指定的类). 配置文件把具体实现的类名称定义到配置文件中 ...
- SpringMVC框架五:图片上传与JSON交互
在正式图片上传之前,先处理一个细节问题: 每一次发布项目,Tomcat都会重新解压war包,之前上传过的图片会丢失 为了解决这个问题:可以不在Tomcat下保存图片,而是另找一个目录. 上传图片: & ...
- 机器学习入门04 - 使用TensorFlow的起始步骤 (First Steps with TensorFlow)
原文链接:https://developers.google.com/machine-learning/crash-course/first-steps-with-tensorflow/ 1- 工具包 ...