1. 背景

之前听到同事说,要为自己的模块考虑写个数据协议。今天有空想了一下。写出来,方便后续使用。

开源代码brpc中可以支持多种协议,nshead、redis、mongo等20多种协议。

2. 什么是数据交互协议?

这里说的协议,不是tcp/ip这些网络协议。

在分布式环境中,我们需要将模块的数据通过网络bit流传给上、下游模块,就会涉及到数据完整性正确性校验。

为了能够校验数据,就需要定义数据交换协议。

3. 代码brpc中的实现

每种协议类型,都需要实现自己的parser类,进行消息的验证。

3.1 bprc 中nshead协议的校验

nshead_t 结构体

static const unsigned int NSHEAD_MAGICNUM = 0xfb709394;  //特殊数字
struct nshead_t {
unsigned short id;
unsigned short version;
unsigned int log_id;
char provider[16];
unsigned int magic_num;
unsigned int reserved;
unsigned int body_len; //实际传输的包体长度
};

校验过程:magic_num是否正确,是否包体超长,是否包体收到数据不足等。

ParseResult ParseNsheadMessage(butil::IOBuf* source,
Socket*, bool /*read_eof*/, const void* /*arg*/) {
char header_buf[sizeof(nshead_t)];
const size_t n = source->copy_to(header_buf, sizeof(header_buf)); if (n < offsetof(nshead_t, magic_num) + 4) {
return MakeParseError(PARSE_ERROR_NOT_ENOUGH_DATA);
} const void* dummy = header_buf + offsetof(nshead_t, magic_num);
const unsigned int magic_num = *(unsigned int*)dummy;
if (magic_num != NSHEAD_MAGICNUM) {
RPC_VLOG << "magic_num=" << magic_num
<< " doesn't match NSHEAD_MAGICNUM=" << NSHEAD_MAGICNUM;
return MakeParseError(PARSE_ERROR_TRY_OTHERS);
}
if (n < sizeof(nshead_t)) {
return MakeParseError(PARSE_ERROR_NOT_ENOUGH_DATA);
} const nshead_t* nshead = (const nshead_t *)header_buf;
uint32_t body_len = nshead->body_len;
if (body_len > FLAGS_max_body_size) {
return MakeParseError(PARSE_ERROR_TOO_BIG_DATA);
}
else if (source->length() < sizeof(header_buf) + body_len) {
return MakeParseError(PARSE_ERROR_NOT_ENOUGH_DATA);
} policy::MostCommonMessage* msg = policy::MostCommonMessage::Get();
source->cutn(&msg->meta, sizeof(header_buf));
source->cutn(&msg->payload, body_len);
return MakeMessage(msg);
}

3.2 bprc 中redis协议的校验

先看看redis中的协议,比如下面主从复制时需要的select db的情形。表示有2行(*2),第一行len:6, vak:SELECT, 第二行len:2, val:10

*2\r\n
$6\r\n
SELECT\r\n
$2\r\n
10\r\n

校验过程:字符串处理,switch ...case...

bool RedisReply::ConsumePartialIOBuf(butil::IOBuf& buf, butil::Arena* arena) {
// Notice that all branches returning false must not change `buf'.
const char* pfc = (const char*)buf.fetch1();
if (pfc == NULL) {
return false;
}
const char fc = *pfc; // first character
switch (fc) {
case '-': // Error "-<message>\r\n"
case '+': { // Simple String "+<string>\r\n"
......

4. 如果要自己实现一种协议

可以学习上面的两种情况:

(1) nshead 使用特殊magic数组, bodylen,body

(2) redis 使用val_len, val

这也是通用的套路,len + value限定了一个变量。

当然可以加一些crc校验和,等其他条件。

5. 参考:

brpc new_protocol.md

分布式环境中,模块数据交互协议分析 (百度brpc)的更多相关文章

  1. ZooKeeper学习第五期--ZooKeeper管理分布式环境中的数据

    引言 本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它涉及到了paxos算法.Zab协议.通信协议等相关知识,理解起来比较抽象所以还需要借助一些应用场景,来帮我们 ...

  2. 【Zookeeper系列】ZooKeeper管理分布式环境中的数据(转)

    原文地址:https://www.cnblogs.com/sunddenly/p/4092654.html 引言 本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它 ...

  3. ZooKeeper系列(5):管理分布式环境中的数据

    引言 本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它涉及到了paxos算法.Zab协议.通信协议等相关知 识,理解起来比较抽象所以还需要借助一些应用场景,来帮我 ...

  4. ZooKeeper管理分布式环境中的数据

    Reference: http://www.cnblogs.com/wuxl360/p/5817549.html 本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它 ...

  5. 分布式服务框架 Zookeeper — 管理分布式环境中的数据

    本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它涉及到了paxos算法.Zab协议.通信协议等相关知识,理解起来比较抽象所以还需要借助一些应用场景,来帮我们理解. ...

  6. ZooKeeper学习第五期--ZooKeeper管理分布式环境中的数据(转)

    转载来源:https://www.cnblogs.com/sunddenly/p/4092654.html 引言 本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它 ...

  7. 分布式服务框架 Zookeeper -- 管理分布式环境中的数据

    转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html Zookeeper 分布式服务框架是 Apa ...

  8. 分布式服务框架 Zookeeper -- 管理分布式环境中的数据(转载)

    本文转载自:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ Zookeeper 分布式服务框架是 Apache Had ...

  9. 分布式服务框架 Zookeeper -- 管理分布式环境中的数据--转载

    原文:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ Zookeeper 分布式服务框架是 Apache Hadoop ...

随机推荐

  1. Codeforces 922F Divisibility 构造

    Divisibility 我们考虑删数字 首先我们可以发现有一类数很特殊就是大于 n / 2的素数, 因为这些素数的贡献只有1, 并且在n大的时候, 这些素数的个数不是很少, 我们可以最后用这些数去调 ...

  2. Flask--Web From 表单

    需要拓展支持 1.Flask-WTF是WTForms项目的Flask框架扩展,我们将用他来帮助我们处理web表单 2.pip install Flask-WTF 配置WTF(不知道为什么,但是好像必须 ...

  3. BZOJ4237 稻草人 分治 单调栈

    原文链接https://www.cnblogs.com/zhouzhendong/p/8682572.html 题目传送门 - BZOJ4237 题意 平面上有$n(n\leq 2\times 10^ ...

  4. IEnumerable 与 IEnumerable<T>

    转自:https://blog.csdn.net/qq_21419015/article/details/80495322 IEnumerable 和IEnumerable<T> 接口在 ...

  5. ASP.NET MVC 路由篇二

    轉載 http://www.cnblogs.com/yaozhenfa/p/asp_net_mvc_route_2.html 7.解决与物理路径的冲突 当发送一个请求至ASP.NET MVC时,其实会 ...

  6. GUI:GUI的方式创建/训练/仿真/预测神经网络—Jason niu

    (1)导入数据:点击最左底部Import 按钮 (2)创建模型network_Jason_niu:点击底部的New按钮 (3)设置参数并训练:点击底部的Open按钮 (4)仿真预测: 大功告成!

  7. 新版的 selenium已经放弃PhantomJS改用Chorme headless

    新版的 selenium已经放弃PhantomJS改用Chorme headless   使用pip show selenium显示默认安装的是3.1.3版本目前使用新版selenium调用Phant ...

  8. HDU 3488 Tour (最大权完美匹配)【KM算法】

    <题目链接> 题目大意:给出n个点m条单向边边以及经过每条边的费用,让你求出走过一个哈密顿环(除起点外,每个点只能走一次)的最小费用.题目保证至少存在一个环满足条件. 解题分析: 因为要求 ...

  9. python MySQLdb 字段与关键字重名

    在做一个东西的时候,将字段命名为desc和describe. 构造sql语句并插入数据,报语法错误.一个一个字段排查,发现是这两个字段的问题. 找了一下,这两个是关键字. 所以,字段与关键字重名的时候 ...

  10. valueof toString

    valueof toString add(1)(2) // 3 add(1, 2, 3)(10) // 16 add(1)(2)(3)(4)(5) // 15 function add() { var ...