Java实现简单RPC框架(转)
一、RPC简介
RPC,全称Remote Procedure Call, 即远程过程调用,它是一个计算机通信协议。它允许像本地服务一样调用远程服务。它可以有不同的实现方式。如RMI(远程方法调用)、Hessian,Http invoker等。另外,RPC是与语言无关的。
RPC示意图:

如上图所示,假设Computer1在调用sayHi() 方法,对于Computer1而言,调用sayHi()方法就像调用本地方法一样。调用->返回。但从后续调用可以看出Computer1调用的是Computer2中的sayHi() 方法,RPC屏蔽了底层实现的细节,让调用者无需关注网络通信,数据传输等细节。
二、RPC框架的实现
上面介绍了RPC的核心原理: RPC能够让本地应用简单、高效地调用服务器总的过程(服务)。它主要应用在分布式系统。如Hadoop中的IPC组件。但怎样实现一个RPC框架呢?
1、通信模型
假设通信的A机器和B机器,A和B之间有通信模型,在Java中一般基于BIO和NIO
2、过程(服务)定位: 使用给定的通信方式,与确定IP与端口及方法名称确定具体的过程或方法。
3、远程代理对象: 本地调用的方法(服务)其实是远程方法的本地代理,因此可能需要一个远程代理对象。对Java而言,远程代理对象可以使用Java的动态对象实现,封装了调用远程方法调用。
4、序列化: 将对象名称,方法名称,参数等对象信息进行网络传输需要转换成二进制传输,这里可能需要不同的序列化技术方案。如: protobuf,Arvo等。
三、Java实现RPC框架
1、实现技术方案
下面使用比较原始的方案实现RPC框架,采用Socket通信,动态代理与反射,Java原生序列化。
2、RPC框架架构
RPC架构分为三部分
1) 服务提供者,运行在服务端,提供服务接口定义与服务实现类。
2)服务中心,运行在服务端,负责将本地服务发布到远程服务; 管理远程服务,提供给服务消费者使用。
3) 服务消费者,运行在客户端,通过远程代理对象调用远程服务。
3、具体实现
工程结构

1) 创建服务提供者
服务提供接口
public interface IHelloService {
String sayHi(String name);
}
服务提供接口实现
public class HelloServiceImpl implements IHelloService{
@Override
public String sayHi(String name) {
return "Hi, " + name;
}
}
2)服务中心
服务中心接口
public interface IServer {
public void stop();
public void start() throws IOException;
public void register(Class serviceInterface, Class impl);
public boolean isRunning();
public int getPort();
}
服务中心接口实现
public class ServiceCenter implements IServer {
private static int availableProcessors = Runtime.getRuntime().availableProcessors();
private static ExecutorService executor = Executors.newFixedThreadPool(availableProcessors);
private static final HashMap<String, Class> serviceRegister = new HashMap<>();
static {
CommonUtil.print("availableProcessors:" + availableProcessors);
}
private static boolean isRunning = false;
private static int port;
public ServiceCenter(int p){
port = p;
}
@Override
public void stop() {
isRunning = false;
executor.shutdown();;
}
@Override
public void start() throws IOException {
ServerSocket server = new ServerSocket();
server.bind(new InetSocketAddress(port));
CommonUtil.print("start server, port:" + port);
try{
while (true){
// 1.监听客户端的TCP连接,接到TCP连接后将其封装成task,由线程池执行
Socket client = server.accept();
CommonUtil.print("accept socket client");
executor.execute(new ServiceTask(client));
}
}finally {
server.close();
}
}
@Override
public void register(Class serviceInterface, Class impl) {
serviceRegister.put(serviceInterface.getName(), impl);
}
@Override
public boolean isRunning() {
return isRunning;
}
@Override
public int getPort() {
return port;
}
private static class ServiceTask implements Runnable{
Socket client = null;
public ServiceTask(Socket socket){
this.client = socket;
}
@Override
public void run() {
ObjectInputStream input = null;
ObjectOutputStream output = null;
try {
// 2.将客户端发送的码流反序列化成对象,反射调用服务实现者,获取执行结果
input = new ObjectInputStream(client.getInputStream());
String serviceName = input.readUTF();
String methodName = input.readUTF();
CommonUtil.print("serviceName:" + serviceName + "methodName:" + methodName);
Class<?>[] parameterTypes = (Class<?>[]) input.readObject();
Object[] arguments = (Object[]) input.readObject();
Class serviceClass = serviceRegister.get(serviceName);
if (serviceClass == null) {
throw new ClassNotFoundException(serviceName + " not found");
}
Method method = serviceClass.getMethod(methodName, parameterTypes);
Object result = method.invoke(serviceClass.newInstance(), arguments);
// 3.将执行结果反序列化,通过socket发送给客户端
output = new ObjectOutputStream(client.getOutputStream());
output.writeObject(result);
} catch (Exception e) {
e.printStackTrace();
} finally {
if (output != null) {
try {
output.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (input != null) {
try {
input.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (client != null) {
try {
client.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
}
3) 消费者
消费者获取远程方法
public class RPCClient<T> {
public static <T> T getRemoteProxyObj(final Class<?> serviceInterface, final InetSocketAddress addr){
//1\将本地的接口调用转换成JDK的动态代理,在动态代理中实现接口的远程调用
return (T) Proxy.newProxyInstance(serviceInterface.getClassLoader(), new Class<?>[]{serviceInterface}, new InvocationHandler() {
@Override
public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {
Socket socket = null;
ObjectOutputStream output = null;
ObjectInputStream input = null;
try{
//2、创建socket客户端,根据指定地址连接远程服务提供者
socket = new Socket();
socket.connect(addr);
//3.将远程服务调用所需要的类接口,方法名、参数列表等编码后发送给服务提供者
output = new ObjectOutputStream(socket.getOutputStream());
CommonUtil.print("serviceInterface.getName:" + serviceInterface.getName() + " method.getName():" + method.getName());
output.writeUTF(serviceInterface.getName());
output.writeUTF(method.getName());
output.writeObject(method.getParameterTypes());
output.writeObject(args);
//4、同步阻塞等待服务器返回应答,获取应答后返回
input = new ObjectInputStream(socket.getInputStream());
return input.readObject();
}finally {
if (socket != null) socket.close();
if (output != null) output.close();
if (input != null) input.close();
}
}
});
}
}
4)测试
服务提供者先进行注册
public class ServiceRegister {
public static void main(String[] args) {
new Thread(new Runnable() {
@Override
public void run() {
try {
CommonUtil.print("服务注册");
IServer serviceServer = new ServiceCenter(8088);
serviceServer.register(IHelloService.class, HelloServiceImpl.class);
serviceServer.start();
} catch (IOException e) {
e.printStackTrace();
}
;
}
}).start();
}
}
消费者进行调用
public class ServiceConsumer {
public static void main(String[] args) {
InetSocketAddress inetSocketAddress = new InetSocketAddress("localhost",8088);
IHelloService service = RPCClient.getRemoteProxyObj(IHelloService.class, inetSocketAddress);
CommonUtil.print(service.sayHi("Nick"));
}
}
5)输出结果

四、总结
RPC本质为消息处理模型,RPC屏蔽了底层不同主机间的通信细节,让进程调用远程的服务就像是本地的服务一样。
五、可以改进的地方
这里实现的简单RPC框架是使用Java语言开发,与Java语言高度耦合,并且通信方式采用的Socket是基于BIO实现的,IO效率不高,还有Java原生的序列化机制占内存太多,运行效率也不高。可以考虑从下面几种方法改进。
可以采用基于JSON数据传输的RPC框架;
可以使用NIO或直接使用Netty替代BIO实现;
使用开源的序列化机制,如Hadoop Avro与Google protobuf等;
服务注册可以使用Zookeeper进行管理,能够让应用更加稳定。
来自: Java实现简单的RPC框架
六、流行的RPC框架
1、dubbo/dubbox
dubbo架构模型

2、Monta(新浪微博开源)

3、Thrift(夸语言的RPC框架,无服务治理)

4、Grpc (google的Grpc)

各种框架的对比

Java实现简单RPC框架(转)的更多相关文章
- RPC笔记之初探RPC:DIY简单RPC框架
一.什么是RPC RPC(Remote Procedure Call)即远程过程调用,简单的说就是在A机器上去调用B机器上的某个方法,在分布式系统中极其常用. rpc原理其实很简单,比较容易理解,在r ...
- 从零开始实现简单 RPC 框架 5:网络通信之序列化
我们在接下来会开始讲网络通信相关的内容了.既然是网络通信,那必然会涉及到序列化的相关技术. 下面是 ccx-rpc 序列化器的接口定义. /** * 序列化器 */ public interface ...
- 从零开始实现简单 RPC 框架 6:网络通信之 Netty
网络通信的开发,就涉及到一些开发框架:Java NIO.Netty.Mina 等等. 理论上来说,类似于序列化器,可以为其定义一套统一的接口,让不同类型的框架实现,事实上,Dubbo 就是这么干的. ...
- 从零开始实现简单 RPC 框架 7:网络通信之自定义协议(粘包拆包、编解码)
当 RPC 框架使用 Netty 通信时,实际上是将数据转化成 ByteBuf 的方式进行传输. 那如何转化呢?可不可以把 请求参数 或者 响应结果 直接无脑序列化成 byte 数组发出去? 答:直接 ...
- 简单RPC框架-基于Consul的服务注册与发现
*:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* ...
- 一个简单RPC框架是怎样炼成的(V)——引入传输层
开局篇我们说了,RPC框架的四个核心内容 RPC数据的传输. RPC消息 协议 RPC服务注冊 RPC消息处理 接下来处理传输数据.实际应用场景一般都是基于socket.socket代码比較多, ...
- 一个简单RPC框架是怎样炼成的(II)——制定RPC消息
开局篇我们说了,RPC框架的四个核心内容 RPC数据的传输. RPC消息 协议 RPC服务注冊 RPC消息处理 以下,我们先看一个普通的过程调用 class Client(object): def _ ...
- 从零开始实现简单 RPC 框架 2:扩展利器 SPI
RPC 框架有很多可扩展的地方,如:序列化类型.压缩类型.负载均衡类型.注册中心类型等等. 假设框架提供的注册中心只有zookeeper,但是使用者想用Eureka,修改框架以支持使用者的需求显然不是 ...
- 一个简单RPC框架是怎样炼成的(VI)——引入服务注冊机制
开局篇我们说了.RPC框架的四个核心内容 RPC数据的传输. RPC消息 协议 RPC服务注冊 RPC消息处理 接下来处理RPC服务的注冊机制.所谓注冊机制,就是Server须要声明支持哪些rpc方法 ...
随机推荐
- spark 机器学习 决策树 原理(一)
1.什么是决策树 决策树(decision tree)是一个树结构(可以是二叉树或者非二叉树).决策树分为分类树和回归树两种,分类树对离散变量做决策树,回归树对连续变量做决策树. 其中每个非叶节点表示 ...
- 背部——哑铃&杠铃
- Linux路由:CentOS6的多种玩法
将一台Linux主机作路由器使用,这本是件很容易的事情,利用Linux主机强大的网络功能,很轻松就实现了.这里在虚拟机环境下设定一台CentOS主机通过另一台CentOS主机路由接入Internet网 ...
- Linux 绑定 ttyUSBn 串口方法。
Linux 绑定 ttyUSBn 串口方法. 在linux下, 使用usb转串口, 经常会碰到一个问题: 如果有多个串口, 以不同顺序插入的时候, /dev/ttyUSB0 /dev/ttyUSB1的 ...
- C 语言究竟是一门怎样的语言?
C语言是计算机及其相关专业的必修课,很多编程爱好者也是从C语言开始的编程之旅. C语言之父镇楼! 相较于GO,python等语言而言C语言真可以算是老古董了(发明于上世纪70年代),但是也正因为其历史 ...
- 数据库系统load飙高问题解决思路
工作过程中有时候会接收到数据库服务器器load 飙高的报警,比如: load1 15.25 base: 8.52,collect time:2014-08-30 如何处理load 异常飙高的报警呢? ...
- [转]LINUX最大线程数及最大进程数
原文:https://blog.csdn.net/wowocpp/article/details/86673886 --------------------- cat /proc/sys/kernel ...
- 正确robots写法,解决百度搜索不显示缩略图问题
网站上线http://zhimo.yuanzhumuban.cc/有一年左右时间了,百度搜索显示略缩图少之又少,通过自己这几天的观察发现. 结合百度站长平台的 robots 工具和抓取诊断工具检查后, ...
- mysql占用内存过高调优方法
最近测试一个站点,用mysql 5.6+mencache 内存16GB,但是进行查询的时候还是导致CPU占用过高,达到80%左右,所以想办法如何进行调优.以下几个参数进行参考选择 优化mysql数据 ...
- nginx配置文件服务器 linux
一,安装nginx服务器 点击打开链接 二,配置nginx服务器 ##测试配置文件 sudo /usr/sbin/nginx -t ##修改配置文件 ##1. 在nginx文件 ...