Java讲解RPC的基本实现
RPC远程过程调用可以说是分布式系统的基础,本文将通过Java演示一次普通的rpc调用到底发生了什么。
我曾经在网上看到有人提问,为什么RPC要叫作远程过程调用,而不叫作RMC远程方法调用。个人认为RPC的叫法才是合理的,远程调用的是某个过程,不一定是一个具体的方法。(你只要看过后面第一个版本的代码就能懂了)
这整个过程可以用一句话概括:机器A通过网络与机器B建立连接,A发送一些参数给B,B执行某个过程,并把结果返回给A。
在写代码之前,先说一个前置背景,假设我们有一个商品类
public class Product implements Serializable {
private Integer id;
private String name;
public Product(Integer id, String name) {
this.id = id;
this.name = name;
}
//toString()
//get set 方法
}
有一个商品服务接口
public interface IProductService {
Product getProductById(Integer id);
}
服务端有商品服务接口的实现类
public class ProductServiceImpl implements IProductService {
@Override
public Product getProductById(Integer id) {
//实际上这里应该去查询数据库获得数据,下面简化了
return new Product(id, "手机");
}
}
下面我们通过客户端发送一个商品id到服务端,服务端获得id后通过商品服务类获取商品信息,返回给客户端
public class Client {
public static void main(String[] args) throws Exception {
//建立Socket
Socket socket = new Socket("127.0.0.1", 8888);
//获取输出流
ByteArrayOutputStream baos = new ByteArrayOutputStream();
DataOutputStream dos = new DataOutputStream(baos);
//把商品Id通过网络传到服务端
dos.writeInt(123);
socket.getOutputStream().write(baos.toByteArray());
socket.getOutputStream().flush();
//读取服务端返回的商品信息
DataInputStream dis = new DataInputStream(socket.getInputStream());
Integer id = dis.readInt(); //商品id
String name = dis.readUTF(); //商品名称
Product product = new Product(id, name);//通过服务端返回的商品信息生成商品
System.out.println(product);
//关闭流资源为了方便阅读,没有做try-catch处理
dos.close();
baos.close();
socket.close();
}
}
public class Server {
private static boolean running = true;
public static void main(String[] args) throws Exception {
//建立服务端Socket
ServerSocket ss = new ServerSocket(8888);
//不断监听,处理客户端请求
while (running) {
Socket socket = ss.accept();
process(socket);
socket.close();
}
ss.close();
}
private static void process(Socket socket) throws Exception {
InputStream is = socket.getInputStream();
OutputStream os = socket.getOutputStream();
DataInputStream dis = new DataInputStream(is);
DataOutputStream dos = new DataOutputStream(os);
//读取客户端发过来的id
Integer id = dis.readInt();
//调用服务类生成商品
IProductService service = new ProductServiceImpl();
Product product = service.getProductById(id);
//把商品的信息写回给客户端
dos.writeInt(id);
dos.writeUTF(product.getName());
dos.flush();
dos.close();
dis.close();
os.close();
is.close();
}
}
上面的是RPC远程调用的原始简易版本,可以看到联网的代码写死在了客户端中,网络部分代码和getProductById()耦合在了一起,如果想把别的方法改为远程调用还要重新写一遍联网的代码,非常麻烦。
在实际的使用中,我们会编写各种各样的远程调用,打个比方,IProductService接口以后可能会扩展成这样:
public interface IProductService {
Product getProductById(Integer id);
Product getProductByName(String name);
Product getMostExpensiveProduct();
}
我们总不可能为每个方法都编写一段网络连接的代码吧,我们得想到一种办法为所有的方法都嵌入一段共用的网络连接代码。
那具体应该怎样嵌入呢?这里我们可以用到代理模式。
在Java中许多优秀的框架都用到了代理模式做代码嵌入,比如说Mybatis。它把JDBC连接部分的代码通过代理模式嵌入到sql语句的周围,让我们专注于写sql。
首先,服务端的代码要进行修改,由于多个方法共用一套联网的代码,我们要在服务端识别调用的是哪一个方法:
public class Server {
private static boolean running = true;
public static void main(String[] args) throws Exception {
//......
}
private static void process(Socket socket) throws Exception {
//获取输入流,输出流
InputStream is = socket.getInputStream();
OutputStream os = socket.getOutputStream();
ObjectInputStream ois = new ObjectInputStream(is);
ObjectOutputStream oos = new ObjectOutputStream(os);
//获取本次远程调用的方法名
String methodName = ois.readUTF();
//获取本次远程调用方法的参数类型
Class[] parameterTypes = (Class[]) ois.readObject();
//获取具体的参数对象
Object[] args = (Object[]) ois.readObject();
//创建商品服务类实例,(往后这里可以继续优化)
IProductService service = new ProductServiceImpl();
//根据远程获取的方法名和参数,调用相应的方法
Method method = service.getClass().getMethod(methodName, parameterTypes);
Product product = (Product) method.invoke(service, args);
//把结果写回给客户端
oos.writeObject(product);
oos.close();
ois.close();
socket.close();
}
}
然后在客户端,我们创建一个新的代理类,对外提供一个getStub获取代理类的方法。使用JDK的动态代理需要三个参数,一个是类加载器,一个是接口的class类,最后一个是InvocationHandler实例。
JDK动态代理背后的逻辑是这样的:JVM会根据接口的class类动态创建一个代理类对象,这个代理对象实现了传入的接口,也就是说它拥有了接口中所有方法的实现。方法具体的实现可以由用户指定,也就是调用InvocationHandler的invoke方法。
在
invoke方法中有三个参数,分别是proxy代理类,method调用的方法,args调用方法的参数。我们可以在invoke方法中对具体的实现方法进行增强,在本案例中就是进行网络调用。
public class Stub {
public static IProductService getStub() {
InvocationHandler h = new InvocationHandler() {
@Override
public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {
//和服务端建立Socket连接
Socket socket = new Socket("127.0.0.1", 8888);
ObjectOutputStream oos = new ObjectOutputStream(socket.getOutputStream());
//拿到远程调用的方法名
String methodName = method.getName();
//拿到远程调用方法的参数类型
Class[] parametersTypes = method.getParameterTypes();
//把方法名传递给服务端
oos.writeUTF(methodName);
//把方法参数类型传递给服务端
oos.writeObject(parametersTypes);
//把方法参数传递给服务端
oos.writeObject(args);
oos.flush();
//获取远程调用的返回结果
ObjectInputStream ois = new ObjectInputStream(socket.getInputStream());
Product product = (Product) ois.readObject();
ois.close();
oos.close();
socket.close();
return product;
}
};
Object o = Proxy.newProxyInstance(IProductService.class.getClassLoader(), new Class[]{IProductService.class}, h);
return (IProductService) o;
}
}
这个新版本比第一个版本又美好了一些,但是其实还可以继续优化。现在我们的代理只能够返回IProductService的实现类,得想办法让它返回任意类型的服务实现类。
思路和远程调用方法相似,在远程调用方法时,我们把方法的名称,参数类型,参数传递给服务端;现在要动态创建服务类,我们可以把服务接口的名字传给服务端。服务端拿到远程接口的名字后,就可以从服务注册表中找到对应服务实现类。
至于服务实现类如何注册到服务注册表,这里提供一个思路:可以考虑使用Spring的注解注入。这和我们平时写spring代码是相似的,在创建完服务实现类后我们会加上注解@Service,这样我们就可以在收到远程调用后,遍历使用了@Service的Bean,找到对应的实现类。
总结
如果想要搭建一个简易的RPC框架,我认为有4个点:
- 代理问题
- 服务实例化问题
- 序列化问题
- 通信问题
本篇文章的侧重点是前两个,代理问题和服务实例化问题,我们回顾一下:
- 首先通过代理模式解决了每个远程方法联网的问题
- 通过传递方法名,方法参数类型,参数,以及后面提及的直接传接口名字的形式解决服务实例化问题,这背后的原理是反射,传这些参数也是给反射用的。
关于另外两个点的延伸
在网络上传输数据避免不了序列化问题。Java自带的序列化方式效率比较低,如果要造一个RPC框架的话,我们可以考虑引入其他第三方的序列化框架。
通信问题也很重要,现有的RPC框架使用的通信协议也不相同,各有各的优缺点。但这部分手动实现可能比较困难,可以根据语言自身封装好的API进行选择。
参考:马士兵rpc的演化过程公开课
https://www.bilibili.com/video/BV1Ug4y1875i?p=2
Java讲解RPC的基本实现的更多相关文章
- 【Other】最近在研究的, Java/Springboot/RPC/JPA等
我的Springboot框架,欢迎关注: https://github.com/junneyang/common-web-starter Dubbo-大波-服务化框架 dubbo_百度搜索 Dubbo ...
- 利用jmeter+JAVA对RPC的单接口(dubbo接口等)进行性能测试
建立JAVA项目 建立maven项目,加入Jmeter所需要的JAR包依赖. POM.xml 加入如下: <dependency> <groupId>org.apache.j ...
- java之rpc/orm
Netty线程模型 其中ChannelPiepline的设计模型采用的是Handler组成的责任链模型 blocking I/O 阻塞nonblocking I/O 非阻塞I/O multiplexi ...
- java实现RPC
一,服务提供者 工程为battercake-provider,项目结构图如下图所示 1.1 先创建一个“卖煎饼”微服务的接口和实现类 package com.jp.service; public in ...
- 简单的RPC java实现
RPC的名声大噪之时是在2003年,那一个“冲击波”病毒(Blaster Worm virus)袭卷全球的一年.而“冲击波”正是用着RPC这把刀来敲开了远程电脑的大门.当然RPC 有更多正面的应用,比 ...
- Hadoop中RPC协议小例子报错java.lang.reflect.UndeclaredThrowableException解决方法
最近在学习传智播客吴超老师的Hadoop视频,里面他在讲解RPC通信原理的过程中给了一个RPC的小例子,但是自己编写的过程中遇到一个小错误,整理如下: log4j:WARN No appenders ...
- (转)简单的RPC java实现 .
转:http://blog.csdn.net/jackliang55/article/details/7580563 我也承认,RPC的名声大噪之时是在2003年,那一个“冲击波”病毒(Blaster ...
- Java程序员的现代RPC指南
Java程序员的现代RPC指南 1.前言 1.1 RPC框架简介 最早接触RPC还是初学Java时,直接用Socket API传东西好麻烦.于是发现了JDK直接支持的RMI,然后就用得不亦乐乎,各种大 ...
- Java RMI与RPC的区别
转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/6542811.html 一:RPC 远程过程调用 RPC(Remote Procedure Call Prot ...
随机推荐
- OpenCV-Python 图像金字塔 | 二十
目标 在本章中, 我们将学习图像金字塔 我们将使用图像金字塔创建一个新的水果"Orapple" 我们将看到以下功能:cv.pyrUp(),cv.pyrDown() 理论 通常,我们 ...
- PHP7内核(五):系统分析生命周期
上篇文章讲述了模块初始化阶段之前的准备工作,本篇我来详细介绍PHP生命周期的五个阶段. 一.模块初始化阶段 我们先来看一下该阶段的每个函数的作用. 1.1.sapi_initialize_reques ...
- 044.集群存储-StorageClass
一 StoragClass 1.1 StorageClass概述 StorageClass作为对存储资源的抽象定义,对用户设置的PVC申请屏蔽后端存储的细节,一方面减少了用户对于存储资源细节的关注,另 ...
- h5 js数组Array方法总结
重新复习数组方法. 一.首先说一下构建一个数组. 1.直接定义一个数组. var a = [1,2,3]; 2.通过Array 对象new一个数组,但Array对象根据传参的不同会返回不同的数组对象. ...
- XDebug的配置和使用
简介 XDebug是一个开放源代码的PHP程序调试器(即一个Debug工具) 可以用来跟踪,调试和分析PHP程序的运行状况 功能强大的神器,对审计有非常大的帮助. 官网:http://www.xdeb ...
- H、Magic necklace
链接:https://ac.nowcoder.com/acm/contest/3570/H 来源:牛客网 题目描述 There was a magic necklace. The necklace i ...
- Java static修饰符
Java static修饰符 static修饰符是静态修饰符,大家写Java第一次接触static就是主函数中的pubic static void main的声明了. 那么static有什么用?本文来 ...
- Shell:homework
1.判断/etc/inittab文件是否大于100行,如果大于,则显示”/etc/inittab is a big file.”否则显示”/etc/inittab is a small file.”# ...
- 对Web语义化的思考。
很有意思的HTML语义化 在昨天和做SEO的同学聊了一会儿,当然我没有学会搜索引擎优化的技巧和知识,但在此之前一直对HTML5中header.footer.sidebar.article等标签嗤之以鼻 ...
- Vue的基本指令的使用1
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...