服务间通信的效率与可靠性是系统性能和稳定性的关键。远程过程调用(RPC)作为跨进程、跨机器交互的核心机制,其传输协议的设计至关重要。一个优秀的RPC传输协议需要应对三大挑战:1)跨语言、跨平台的数据表示与解析;2)保障网络传输的完整性、顺序性与效率;3)在服务间建立清晰统一的调用约定。

本文将从 HTTP/2 的多路复用机制、gRPC 的标准化实践、自研RPC协议的架构设计,以及ProtoBuf的高效编解码技术四个方面,深入探讨现代RPC体系如何实现高效可靠的通信,并分析在公网生态与内网性能之间的双重需求下,RPC协议的发展路径。

RPC三个挑战:任何远程调用都无法绕开的挑战

任何一个成熟的RPC框架,其核心使命是让开发者能够像调用本地方法一样,无感知地调用运行在另一台机器上的服务。要实现这一透明化的体验,必须解决三个无法绕开的基本挑战:数据表示 (Data Representation)、数据传递 (Data Transmission)以及方法约定 (Method Contract)。

数据表示

远程调用天然意味着跨进程,甚至跨语言的交互。客户端可能是用Golang编写,而服务端可能是Java。它们内存中的对象布局、数据类型(如整数的字节序)截然不同。如何让它们能相互理解对方发送的数据?这就是数据表示要解决的核心问题:定义一种平台无关、语言无关的“通用语言”。

这个问题的解决方案是序列化(Serialization)与反序列化(Deserialization)。它负责将一端内存中的结构化数据(如对象、结构体)转换为可在网络上传输的字节流,并在另一端将其精确地还原回来。

数据传递

有了序列化后的字节流,下一个挑战是如何在两个服务的网络连接之间可靠、高效地传递它。这里的“传递数据”通常指的是应用层协议的设计,它构建在TCP等传输层协议之上。TCP协议本身是面向字节流的,它能保证数据的顺序和可靠性,但它不理解“消息”的边界。如果客户端连续发送两个RPC请求的字节流,服务端从TCP缓冲区中读取时,可能会一次性读到第一个请求的全部和第二个请求的一部分(粘包),或者只读到第一个请求的一部分(拆包)。

此外,在两个服务交互的过程中,除了需要传递序列化的业务参数和返回值,还需要交换大量的元数据(Metadata),例如:用于匹配请求和响应的唯一ID、分布式链路追踪信息(Trace ID)、超时设置、身份认证令牌、压缩算法标识、错误码和异常信息等。这些元数据也需要被整合进当前传递的上下文中。

方法约定

在本地方法调用中,编译器或解释器会根据语言规范,将一个方法签名(如User getUser(int id))直接解析为进程内存空间中一个子过程入口的地址指针,调用过程清晰明了。但在RPC中,客户端和服务端是解耦的,它们甚至可能是用完全不同的语言编写的。

那么,客户端如何跨越网络,精确地告诉服务端:“我要调用的是你暴露的‘用户服务(UserService)’中的‘获取用户信息(GetUser)’方法,并且传递的参数是一个名为‘userId’的整数”?这就是方法约定要解决的问题。

这个问题的业界标准解决方案是接口描述语言(Interface Description Language, IDL)。IDL就像一份客户端和服务端之间签订的、具有法律效力的*“技术合同”。它使用一种中立的语法,清晰地、无歧义地规定了:

1)服务(Service)的名称:例如 UserService。

2)方法(Method)的名称:例如 GetUser。

3)每个方法的参数(Parameters):包括每个参数的名称、数据类型和顺序。

4)返回值(Return Value):包括其数据类型。

开发者首先使用IDL来定义服务接口,然后通过RPC框架提供的代码生成工具,为不同的语言(如Java、Go、Python)自动生成客户端的存根(Stub)和服务端的骨架(Skeleton)代码。开发者只需填充服务端的业务逻辑和调用客户端的存根即可,所有底层的序列化、网络通信和方法派发都由这些自动生成的代码完成,从而实现了对开发者的透明化。

未完待续.

很高兴与你相遇!如果你喜欢本文内容,记得关注哦!

RPC的三大问题:跨语言、跨平台通信的终极解决方案是如何炼成的?的更多相关文章

  1. 从Qt到C#,通过COM组件达成跨语言跨平台链接,或者说从托管到非托管的思路

    从Qt到C#,通过COM组件达成跨语言跨平台链接,或者说从非托管到托管 写在前面 c#真的是一种非常蛋疼的语言,和别的语言兼容性差,界面开发效率也不是很高,但是胜在库功能强大,对windows的兼容好 ...

  2. uni-app — 一套前端开发跨平台应用的终极解决方案

    uni-app 是一个使用 Vue.js 开发跨平台应用的前端框架,开发者编写一套代码,可编译到iOS.Android.H5.小程序等多个平台. 今天有空就来介绍一下uni-app这个能够跨平台开发, ...

  3. 跨平台、跨语言应用开发,Elements 介绍

    目录 1,Elements 介绍 2,Elements 版本 3,Elements 能干嘛 4,Elements  IDES 5,Elements 工具 1,Elements 介绍 RemObject ...

  4. Dubbo 在跨语言和协议穿透性方向的探索:支持 HTTP/2 gRPC

    Dubbo 在跨语言和协议穿透性方向上的探索:支持 HTTP/2 gRPC 和 Protobuf 本文整理自刘军在 Dubbo 成都 meetup 上分享的<Dubbo 在多语言和协议穿透性方向 ...

  5. 【RPC】跨语言-RPC框架

    跨语言-RPC框架 跨语言 rpc_百度搜索 (5 条消息)谁能用通俗的语言解释一下什么是 RPC 框架? - 知乎 跨语言RPC框架Hessian.Thrift.Protocol Buffer之间的 ...

  6. 基于Thrift的跨语言、高可用、高性能、轻量级的RPC框架

    功能介绍 跨语言通信 方便的使Java.Python.C++三种程序可以相互通信 负载均衡和容灾处理 方便的实现任务的分布式处理 支持服务的水平扩展,自动发现新的服务节点 能够兼容各种异常情况,如节点 ...

  7. JVM笔记 -- Java跨平台和JVM跨语言

    学习JVM的重要性 从上层应用程序到底层操作系统,到底有哪些东西? 平时开发的应用程序主要基于各种框架,譬如Spring,SpringMVC,Mybatis,而各种框架又是基于Java API来实现的 ...

  8. Golang、Php、Python、Java基于Thrift0.9.1实现跨语言调用

    目录: 一.什么是Thrift? 1) Thrift内部框架一瞥 2) 支持的数据传输格式.数据传输方式和服务模型 3) Thrift IDL 二.Thrift的官方网站在哪里? 三.在哪里下载?需要 ...

  9. 跨平台通信中间件thrift学习【Java版本】(转)

    转自:http://neoremind.com/2012/03/%E8%B7%A8%E5%B9%B3%E5%8F%B0%E9%80%9A%E4%BF%A1%E4%B8%AD%E9%97%B4%E4%B ...

  10. Golang通过Thrift框架完美实现跨语言调用

    每种语言都有自己最擅长的领域,Golang 最适合的领域就是服务器端程序. 做为服务器端程序,需要考虑性能同时也要考虑与各种语言之间方便的通讯.采用http协议简单,但性能不高.采用TCP通讯,则需要 ...

随机推荐

  1. GPU开启持久化模式

    GPU开启持久化模式 GPU驱动内存常驻模式,也称为GPU驱动持久模式.linux 系统下,在 persistence 模式是 enabled 状态时, GPU 驱动一直处于加载状态, 减少运行程序时 ...

  2. Golang基础笔记一之变量声明和类型介绍

    本文首发于公众号:Hunter后端 原文链接:Golang基础笔记一之变量声明和类型介绍 这一篇笔记主要介绍 Golang 的基础内容,包括 Golang 的运行,变量声明以及 Golang 里的各种 ...

  3. 从困境到突破,EasyMR 集群迁移助力大数据底座信创国产化

    在大数据时代,企业对数据的依赖程度越来越高.然而,随着业务的不断发展和技术的快速迭代,大数据平台的集群迁移已成为企业数据中台发展途中无法回避的需求.在大数据平台发展初期,国内数据中台市场主要以国外开源 ...

  4. 倒带ChunJun,同心前行|2022年度回顾&2023年共建规划

    ChunJun是一个开始于2018年的批流一体数据集成框架项目,原名FlinkX.2022年2月22日,在FlinkX进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为Chun ...

  5. HyperWorks变形域和控制柄方法

    变形域和控制柄方法 使用变形域和控制柄方法进行网格变形时,网格模型被分割成若干个变形子域,位于变形域上的控制柄常常用来控制变形域形状的变化.当控制柄移动时,变形域的形状随之变化,进而影响变形域内部节点 ...

  6. FastAPI WebSocket:你的双向通信通道为何如此丝滑?

    扫描二维码 关注或者微信搜一搜:编程智域 前端至全栈交流与成长 发现1000+提升效率与开发的AI工具和实用程序:https://tools.cmdragon.cn/ # 示例代码运行环境 # Pyt ...

  7. java 两个线程

    简介 使用synchronized, 来实现两个线程的同步操作. 参考链接 https://www.cnblogs.com/leihuazhe/p/7898563.html TIPS 唤醒一个在等待资 ...

  8. leetcode 236 而哈数的最近公共祖先

    简介 dfs 找出路劲,然后长链在短链里面找. code /** * Definition for a binary tree node. * struct TreeNode { * int val; ...

  9. MFC 程序 输出打印字符

    简介 因为自己的科研方向接触到一个远古时期的代码,现在如果要学习这个代码少不了要对其重新编译,打印输出. 参考链接 如何以控制台的方式运行程序 https://blog.csdn.net/weixin ...

  10. Markdown常用emoji表情

    .emoji { width: 45px } #emojilist { margin: 0 auto; text-align: center } #emojilist li { float: left ...