服务间通信的效率与可靠性是系统性能和稳定性的关键。远程过程调用(RPC)作为跨进程、跨机器交互的核心机制,其传输协议的设计至关重要。一个优秀的RPC传输协议需要应对三大挑战:1)跨语言、跨平台的数据表示与解析;2)保障网络传输的完整性、顺序性与效率;3)在服务间建立清晰统一的调用约定。

本文将从 HTTP/2 的多路复用机制、gRPC 的标准化实践、自研RPC协议的架构设计,以及ProtoBuf的高效编解码技术四个方面,深入探讨现代RPC体系如何实现高效可靠的通信,并分析在公网生态与内网性能之间的双重需求下,RPC协议的发展路径。

RPC三个挑战:任何远程调用都无法绕开的挑战

任何一个成熟的RPC框架,其核心使命是让开发者能够像调用本地方法一样,无感知地调用运行在另一台机器上的服务。要实现这一透明化的体验,必须解决三个无法绕开的基本挑战:数据表示 (Data Representation)、数据传递 (Data Transmission)以及方法约定 (Method Contract)。

数据表示

远程调用天然意味着跨进程,甚至跨语言的交互。客户端可能是用Golang编写,而服务端可能是Java。它们内存中的对象布局、数据类型(如整数的字节序)截然不同。如何让它们能相互理解对方发送的数据?这就是数据表示要解决的核心问题:定义一种平台无关、语言无关的“通用语言”。

这个问题的解决方案是序列化(Serialization)与反序列化(Deserialization)。它负责将一端内存中的结构化数据(如对象、结构体)转换为可在网络上传输的字节流,并在另一端将其精确地还原回来。

数据传递

有了序列化后的字节流,下一个挑战是如何在两个服务的网络连接之间可靠、高效地传递它。这里的“传递数据”通常指的是应用层协议的设计,它构建在TCP等传输层协议之上。TCP协议本身是面向字节流的,它能保证数据的顺序和可靠性,但它不理解“消息”的边界。如果客户端连续发送两个RPC请求的字节流,服务端从TCP缓冲区中读取时,可能会一次性读到第一个请求的全部和第二个请求的一部分(粘包),或者只读到第一个请求的一部分(拆包)。

此外,在两个服务交互的过程中,除了需要传递序列化的业务参数和返回值,还需要交换大量的元数据(Metadata),例如:用于匹配请求和响应的唯一ID、分布式链路追踪信息(Trace ID)、超时设置、身份认证令牌、压缩算法标识、错误码和异常信息等。这些元数据也需要被整合进当前传递的上下文中。

方法约定

在本地方法调用中,编译器或解释器会根据语言规范,将一个方法签名(如User getUser(int id))直接解析为进程内存空间中一个子过程入口的地址指针,调用过程清晰明了。但在RPC中,客户端和服务端是解耦的,它们甚至可能是用完全不同的语言编写的。

那么,客户端如何跨越网络,精确地告诉服务端:“我要调用的是你暴露的‘用户服务(UserService)’中的‘获取用户信息(GetUser)’方法,并且传递的参数是一个名为‘userId’的整数”?这就是方法约定要解决的问题。

这个问题的业界标准解决方案是接口描述语言(Interface Description Language, IDL)。IDL就像一份客户端和服务端之间签订的、具有法律效力的*“技术合同”。它使用一种中立的语法,清晰地、无歧义地规定了:

1)服务(Service)的名称:例如 UserService。

2)方法(Method)的名称:例如 GetUser。

3)每个方法的参数(Parameters):包括每个参数的名称、数据类型和顺序。

4)返回值(Return Value):包括其数据类型。

开发者首先使用IDL来定义服务接口,然后通过RPC框架提供的代码生成工具,为不同的语言(如Java、Go、Python)自动生成客户端的存根(Stub)和服务端的骨架(Skeleton)代码。开发者只需填充服务端的业务逻辑和调用客户端的存根即可,所有底层的序列化、网络通信和方法派发都由这些自动生成的代码完成,从而实现了对开发者的透明化。

未完待续.

很高兴与你相遇!如果你喜欢本文内容,记得关注哦!

RPC的三大问题:跨语言、跨平台通信的终极解决方案是如何炼成的?的更多相关文章

  1. 从Qt到C#,通过COM组件达成跨语言跨平台链接,或者说从托管到非托管的思路

    从Qt到C#,通过COM组件达成跨语言跨平台链接,或者说从非托管到托管 写在前面 c#真的是一种非常蛋疼的语言,和别的语言兼容性差,界面开发效率也不是很高,但是胜在库功能强大,对windows的兼容好 ...

  2. uni-app — 一套前端开发跨平台应用的终极解决方案

    uni-app 是一个使用 Vue.js 开发跨平台应用的前端框架,开发者编写一套代码,可编译到iOS.Android.H5.小程序等多个平台. 今天有空就来介绍一下uni-app这个能够跨平台开发, ...

  3. 跨平台、跨语言应用开发,Elements 介绍

    目录 1,Elements 介绍 2,Elements 版本 3,Elements 能干嘛 4,Elements  IDES 5,Elements 工具 1,Elements 介绍 RemObject ...

  4. Dubbo 在跨语言和协议穿透性方向的探索:支持 HTTP/2 gRPC

    Dubbo 在跨语言和协议穿透性方向上的探索:支持 HTTP/2 gRPC 和 Protobuf 本文整理自刘军在 Dubbo 成都 meetup 上分享的<Dubbo 在多语言和协议穿透性方向 ...

  5. 【RPC】跨语言-RPC框架

    跨语言-RPC框架 跨语言 rpc_百度搜索 (5 条消息)谁能用通俗的语言解释一下什么是 RPC 框架? - 知乎 跨语言RPC框架Hessian.Thrift.Protocol Buffer之间的 ...

  6. 基于Thrift的跨语言、高可用、高性能、轻量级的RPC框架

    功能介绍 跨语言通信 方便的使Java.Python.C++三种程序可以相互通信 负载均衡和容灾处理 方便的实现任务的分布式处理 支持服务的水平扩展,自动发现新的服务节点 能够兼容各种异常情况,如节点 ...

  7. JVM笔记 -- Java跨平台和JVM跨语言

    学习JVM的重要性 从上层应用程序到底层操作系统,到底有哪些东西? 平时开发的应用程序主要基于各种框架,譬如Spring,SpringMVC,Mybatis,而各种框架又是基于Java API来实现的 ...

  8. Golang、Php、Python、Java基于Thrift0.9.1实现跨语言调用

    目录: 一.什么是Thrift? 1) Thrift内部框架一瞥 2) 支持的数据传输格式.数据传输方式和服务模型 3) Thrift IDL 二.Thrift的官方网站在哪里? 三.在哪里下载?需要 ...

  9. 跨平台通信中间件thrift学习【Java版本】(转)

    转自:http://neoremind.com/2012/03/%E8%B7%A8%E5%B9%B3%E5%8F%B0%E9%80%9A%E4%BF%A1%E4%B8%AD%E9%97%B4%E4%B ...

  10. Golang通过Thrift框架完美实现跨语言调用

    每种语言都有自己最擅长的领域,Golang 最适合的领域就是服务器端程序. 做为服务器端程序,需要考虑性能同时也要考虑与各种语言之间方便的通讯.采用http协议简单,但性能不高.采用TCP通讯,则需要 ...

随机推荐

  1. linux下wget静默模式下载

    说明 在一些场景下,文件较大时,通过wget下载会展示时候进度,输出太多,这里我们如果想屏蔽输出可以采取静默模式 wget --quiet http://fileserver.test.com/cud ...

  2. USB Gadget设备枚举失败的处理方法

    技术背景 我们的板子作为 USB Gadget 设备通过 USB 线接入 USB 主机使用,我们的板子被主机识别为一个 Compsite Device,这个 Compsite Device 是由我们板 ...

  3. 【语义分割专栏】4:deeplab系列原理篇

    目录 前言 背景介绍 Deeplab系列讲解 Deeplabv1 去池化和全连接层 空洞卷积(Atrous Convolution) 全连接条件随机场(Fully - connected Condit ...

  4. 使用GcExcel .NET将Excel导出为PDF

    使用GcExcel .NET将Excel导出为PDF 引言 在企业级应用开发中,经常需要将Excel数据导出为PDF格式以便于共享和打印.GrapeCity Documents for Excel(简 ...

  5. 用<marquee>实现图片上下滚动

    首先让我们认识这个<marquee>标签,它是成对出现的标签,首标签<marquee>和尾标签</marquee>之间的内容就是滚动内容.<marquee&g ...

  6. CF1918D Blocking Elements 题解

    CF1918D Blocking Elements 如果你做过以下两道题目,那么这道题对你来说会简单得多. P1182 数列分段 Section II P2034 选择数字 由于题目要求最大值的最小值 ...

  7. ETLCloud怎么样?深度解析其在数据管理中的表现

    在BI或数据大屏等数据分析工具中,经常需要从多个业务系统中提取原始数据,然后对数据进行清洗.处理,以获取高质量.有效且干净的数据以供后续的BI进行数据统计和分析使用,从高质量的实现企业数据的价值变现. ...

  8. RestCloud十万现金大奖

    如何投稿:邮箱地址chenyingping@restcloud.cn 征集周期:2022/05/16-2022/05/30 征集主题:RestCloud相关产品的使用体验 内容要求:符合主题.内容新颖 ...

  9. 一个java空指针异常的解决过程

    背景 上一篇讲了我们从另外一个部门迁移了一个线上系统回来,迁回来是为啥呢,因为这个好几年没新需求的系统,突然有新需求要开发,然后我就开发呗,其实就是在某个服务里加点表,然后提供个查询接口给app.这个 ...

  10. ICEE-RF Trisistors-

    Radio frequency (RF) transistors RF Transistor subcategories Low Noise RF Transistors High Linearity ...