回顾TCP粘包/拆包问题解决方案

上文详细说了TCP粘包/拆包问题产生的原因及解决方式,并以LineBasedFrameDecoder为例演示了粘包/拆包问题的实际解决方案,本文再介绍两种粘包/拆包问题的解决方案:分隔符和定长解码器。在开始本文之前,先回顾一下解决粘包/拆包问题的几个方式:

  • 消息长度固定,累计读取到长度总和为定长LEN的报文后,就认为读取到了一个完整的消息,将计数器重置,重新读取下一个消息
  • 将回车换行符作为消息结束符,例如FTP协议,这种方式在文本协议中应用比较广泛
  • 将特殊的分隔符作为消息的结束标志,回车换行符就是一种特殊的结束分隔符
  • 通过在消息头中定义长度字段来标志消息的总长度

Netty对上面4种方式做了统一的抽象,提供了4种解码器来解决对应的问题,使用起来非常方便,有了这些解码器,用户不需要自己对读取的报文进行人工解码,也不需要考虑TCP的粘包和拆包。

基于DelimiterBasedFrameDecoder的TCP粘包/拆包解决方案

使用DelimiterBasedFrameDecoder,我们可以自动完成以分隔符作为码流结束标志的消息的解码,下面通过例子来学习下DelimiterBasedFrameDecoder的使用。

首先写一个EchoServer,和TimeServer差不多,主要是加上了DelimiterBasedFrameDecoder,分隔符定为"¥_":

 public class EchoServer {

     public void bind(int port) throws Exception {
// NIO线程组
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup(); try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.option(ChannelOption.SO_BACKLOG, 1024)
.childHandler(new ChildChannelHandler()); // 绑定端口,同步等待成功
ChannelFuture f = b.bind(port).sync();
// 等待服务端监听端口关闭
f.channel().closeFuture().sync();
} finally {
// 优雅退出,释放线程池资源
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
} private class ChildChannelHandler extends ChannelInitializer<SocketChannel> {
@Override
protected void initChannel(SocketChannel arg0) throws Exception {
ByteBuf delimiter = Unpooled.copiedBuffer("$_".getBytes()); arg0.pipeline().addLast(new DelimiterBasedFrameDecoder(1024, delimiter));
arg0.pipeline().addLast(new StringDecoder());
arg0.pipeline().addLast(new EchoServerHandler());
}
} }

接着是EchoServerHandler,将接收到的消息打印出来,并记录收到的消息次数:

 public class EchoServerHandler extends ChannelHandlerAdapter {

     private int counter = 0;

     @Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
String body = (String)msg;
System.out.println("This is " + ++counter + " times receive client:[" + body + "]"); body += "$_";
ByteBuf echo = Unpooled.copiedBuffer(body.getBytes());
ctx.writeAndFlush(echo);
} @Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
} }

收到消息之后,将消息加上"$_"回给客户端。看下客户端EchoClient的写法,也是一样,加上DelimiterBasedFrameDecoder:

 public class EchoClient {

     public void connect(int port, String host) throws Exception {
EventLoopGroup group = new NioEventLoopGroup();
try {
Bootstrap b = new Bootstrap(); b.group(group)
.channel(NioSocketChannel.class)
.option(ChannelOption.TCP_NODELAY, true)
.handler(new ChannelInitializer<SocketChannel>() {
protected void initChannel(SocketChannel ch) throws Exception {
ByteBuf delimiter = Unpooled.copiedBuffer("$_".getBytes()); ch.pipeline().addLast(new DelimiterBasedFrameDecoder(1024, delimiter));
ch.pipeline().addLast(new StringDecoder());
ch.pipeline().addLast(new EchoClientHandler());
};
}); // 发起异步连接操作
ChannelFuture f = b.connect(host, port).sync();
// 等待客户端连接关闭
f.channel().closeFuture().sync();
} finally {
// 优雅退出,释放NIO线程组
group.shutdownGracefully();
}
} }

写一个EchoClientHandler,发送10条消息到Server并记录从Server回来的数据:

 public class EchoClientHandler extends ChannelHandlerAdapter {

     private int counter;

     private static final String ECHO_REQ = "Hi, RickyXu, Welcome to Netty.$_";

     public EchoClientHandler() {

     }

     @Override
public void channelActive(ChannelHandlerContext ctx) throws Exception {
for (int i = 0; i < 10; i++) {
ctx.writeAndFlush(Unpooled.copiedBuffer(ECHO_REQ.getBytes()));
}
} @Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
System.out.println("This is" + ++counter + " times receive server:[" + msg + "]");
} @Override
public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
ctx.flush();
} @Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
} }

先运行服务端代码再运行客户端代码,看下服务端收到的数据为:

This is 1 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 2 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 3 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 4 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 5 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 6 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 7 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 8 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 9 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 10 times receive client:[Hi, RickyXu, Welcome to Netty.]

一模一样收到10条且末尾的分隔符被忽略,客户端收到的响应为:

This is 1 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 2 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 3 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 4 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 5 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 6 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 7 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 8 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 9 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 10 times receive server:[Hi, RickyXu, Welcome to Netty.]

同样收到了10条数据且忽略了末尾的换行符。

这样我们就通过一个示例演示了使用DelimiterBasedFrameDecoder解决TCP粘包/拆包,下面看一下使用FixedLengthFrameDecoder解决TCP粘包/拆包的示例。

基于FixedLengthFrameDecoder的TCP粘包/拆包解决方案

FixedLengthFrameDecoder是固定长度解码器,它能够按照指定的长度对消息进行自动解码,开发者不需要考虑TCP的粘包/拆包问题,非常实用,

同样看一下例子,先写一个EchoServer,加入FixedLengthFrameDecoder:

public class EchoServer {

    public void bind(int port) throws Exception {
// NIO线程组
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup(); try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.option(ChannelOption.SO_BACKLOG, 1024)
.childHandler(new ChildChannelHandler()); // 绑定端口,同步等待成功
ChannelFuture f = b.bind(port).sync();
// 等待服务端监听端口关闭
f.channel().closeFuture().sync();
} finally {
// 优雅退出,释放线程池资源
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
} private class ChildChannelHandler extends ChannelInitializer<SocketChannel> {
@Override
protected void initChannel(SocketChannel arg0) throws Exception {
arg0.pipeline().addLast(new FixedLengthFrameDecoder(20));
arg0.pipeline().addLast(new StringDecoder());
arg0.pipeline().addLast(new EchoServerHandler());
}
} }

接着下一下EchoServerHandler,EchoServerHandler比较简单:

public class EchoServerHandler extends ChannelHandlerAdapter {

     @Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
System.out.println("Receive client:[" + msg + "]");
} @Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
} }

这里只打印接收到的数据,因为我们使用telnet来模拟发送请求而不是写一个EchoClient。首先telnet一下localhost 8080:

接着使用"Ctrl+]":

输入回车,这样就变成了回显模式,即输入什么看到什么,简单说一下telnet原理:

  1. 建立与服务器的TCP连接
  2. 从键盘上接收输入的字符
  3. 把输入的字符变成标准格式并发送给服务器
  4. 从服务器接收输出的信息
  5. 输出的信息显示在屏幕/控制台上

注意一下第2点+第3点,这里是键盘上输入一个字符就会发送这个字符到服务端的,对这点有疑问的可以在FixedLengthFrameDecoder的decode方法上打断点,就可以看到每输入一个字符,断点就会进入一次。

接着我们"0123456789"这样一直循环输入,FixedLengthFrameDecoder设置的Length是20,按照上面的解释,这样的话应该输入两轮"0123456789"即第二个9输入之后,控制台上就会打印了:

看一下控制台:

Receive client:[01234567890123456789]

没毛病,证明了FixedLengthFrameDecoder确实是按照定长接收包的,如果收到的包是半包消息,FixedLengthFrameDecoder会缓存半包消息并等待下个包到达之后进行拼包,直到读取到一个完整的包

Netty3:分隔符和定长解码器的更多相关文章

  1. netty权威指南学习笔记五——分隔符和定长解码器的应用

    TCP以流的方式进行数据传输,上层应用协议为了对消息进行区分,通常采用以下4中方式: 消息长度固定,累计读取到长度综合为定长LEN的报文后,就认为读取到了一个完整的消息,将计数器置位,重新开始读取下一 ...

  2. Netty(四)分隔符与定长解码器的使用

    TCP以流的形式进行数据传输,上层的应用协议为了对消息进行划分,往往采用如下的4种方式. (1)消息长度固定,累计读到长度总和为定长len的报文后,就认为读取到了一个完整的消息:然后重新开始读取下一个 ...

  3. (入门篇 NettyNIO开发指南)第五章-分隔符和定长解码器使用

    TCP    以流的方式进行数据传输上层的应用协议为了对消息进行区分,往往采用如下4种方式. (1)消息长度固定,累计读取到长度总和为定长LEN 的报文后,就认为读取到了一个完整的消息,将计数器置位, ...

  4. netty: 解决粘包拆包: 分隔符DelimiterBasedFrameDecoder,定长消息FixedLengthFrameDecoder

    DelimiterBasedFrameDecoder 自定义分隔符 给Server发送多条信息,但是server会讲多条信息合并为一条.这时候我们需要对发生的消息指定分割,让client和server ...

  5. 报文格式:xml 、定长报文、变长报文

    目前接触到的报文格式有三种:xml .定长报文.变长报文 . 此处只做简单介绍,日后应该会深入学习到三者之间如何解析,再继续更新.——2016.9.23 XML XML 被设计用来传输和存储数据. H ...

  6. Python 数据处理----对定长数据的处理

    场景: 有时候我们对大量数据进行处理,对性能要求很高,而且数据都是定长的,比如对移动信息登记表进行处理:名字 身份证信息 手机号码 这些都是定长的,今天小花来教大家如何对此类数据进行处理. 步骤一: ...

  7. javascript实现数据结构:串--定长顺序存储表示以及kmp算法实现

    串(string)(或字符串)是由零个或多个字符组成的有限序列.串中字符的数目称为串的长度.零个字符的串称为空串(null string),它的长度为零. 串中任意个连续的字符组成的子序列称为该串的子 ...

  8. 定长内存池之BOOST::pool

    内存池可有效降低动态申请内存的次数,减少与内核态的交互,提升系统性能,减少内存碎片,增加内存空间使用率,避免内存泄漏的可能性,这么多的优点,没有理由不在系统中使用该技术. 内存池分类: 1.      ...

  9. Java随机生成定长纯数字或数字字母混合数

    (转)Java随机生成定长纯数字或数字字母混合数 运行效果图: 具体实现代码

随机推荐

  1. Debian9安装vim编辑器

    本文由荒原之梦原创,原文链接:http://zhaokaifeng.com/?p=669 前言: Debian 9默认没有安装vim,但是使用Linux怎么能没有vim呢?下面就来安装一下vim吧. ...

  2. ECS上搭建Docker(CentOS7)

    本文讲述Docker在CentOS系统上的部署过程.Ubuntu系统下安装docker,您可以点击此处查看.更多详细的实践您可以参考docker实践文档 适用对象 适用于熟悉Linux操作系统,刚开始 ...

  3. Using variables inside Postman and Collection Runner

    Variables are among the most powerful features in Postman. Using variables in your Postman requests, ...

  4. sql server 高可用故障转移(6)

    创建分布式事务处理DTC群集服务 在hsr3 ip 49上继续 \ 输入一个没有冲突的ip地址用作SQL-CL的DTC解析地址:192.168.2.110,通过检测后会在DNS服务器中自动创建一条记录 ...

  5. QM5_Didstribution

    Basic Concepts Probability distribution Discrete distribution (离散分布) The distribution of the discret ...

  6. Dubbo中服务消费者和服务提供者之间的请求和响应过程

    服务提供者初始化完成之后,对外暴露Exporter.服务消费者初始化完成之后,得到的是Proxy代理,方法调用的时候就是调用代理. 服务消费者经过初始化之后,得到的是一个动态代理类,InvokerIn ...

  7. BZOJ_4653_[Noi2016]区间_线段树+离散化+双指针

    BZOJ_4653_[Noi2016]区间_线段树+离散化+双指针 Description 在数轴上有 n个闭区间 [l1,r1],[l2,r2],...,[ln,rn].现在要从中选出 m 个区间, ...

  8. Spring事务(一) Markdown 版

    事务 事务的特性(ACID) 原子性(Atomicity) 原子性要求事务所包含的全部操作是一个不可分割的整体,这些操作要么全部提交成功,要么只要其中一个操作失败,就全部"成仁" ...

  9. STM32标准库GPIO操作

    STM32标准库GPIO操作 STM32任何外围设备的使用都分为两部分:初始化和使用.体现在代码上就是:(1)有一个初始化函数(2)main函数中的使用 1.初始化GPIO 初始化GPIO函数代码: ...

  10. ACM——八大输出方式总结

    个人做题总结,希望能够帮助到未来的学弟学妹们的学习! 永远爱你们的 ----新宝宝 1: 题目描述 Your task is to Calculate a + b. Too easy?! Of cou ...