回顾TCP粘包/拆包问题解决方案

上文详细说了TCP粘包/拆包问题产生的原因及解决方式,并以LineBasedFrameDecoder为例演示了粘包/拆包问题的实际解决方案,本文再介绍两种粘包/拆包问题的解决方案:分隔符和定长解码器。在开始本文之前,先回顾一下解决粘包/拆包问题的几个方式:

  • 消息长度固定,累计读取到长度总和为定长LEN的报文后,就认为读取到了一个完整的消息,将计数器重置,重新读取下一个消息
  • 将回车换行符作为消息结束符,例如FTP协议,这种方式在文本协议中应用比较广泛
  • 将特殊的分隔符作为消息的结束标志,回车换行符就是一种特殊的结束分隔符
  • 通过在消息头中定义长度字段来标志消息的总长度

Netty对上面4种方式做了统一的抽象,提供了4种解码器来解决对应的问题,使用起来非常方便,有了这些解码器,用户不需要自己对读取的报文进行人工解码,也不需要考虑TCP的粘包和拆包。

基于DelimiterBasedFrameDecoder的TCP粘包/拆包解决方案

使用DelimiterBasedFrameDecoder,我们可以自动完成以分隔符作为码流结束标志的消息的解码,下面通过例子来学习下DelimiterBasedFrameDecoder的使用。

首先写一个EchoServer,和TimeServer差不多,主要是加上了DelimiterBasedFrameDecoder,分隔符定为"¥_":

 public class EchoServer {

     public void bind(int port) throws Exception {
// NIO线程组
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup(); try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.option(ChannelOption.SO_BACKLOG, 1024)
.childHandler(new ChildChannelHandler()); // 绑定端口,同步等待成功
ChannelFuture f = b.bind(port).sync();
// 等待服务端监听端口关闭
f.channel().closeFuture().sync();
} finally {
// 优雅退出,释放线程池资源
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
} private class ChildChannelHandler extends ChannelInitializer<SocketChannel> {
@Override
protected void initChannel(SocketChannel arg0) throws Exception {
ByteBuf delimiter = Unpooled.copiedBuffer("$_".getBytes()); arg0.pipeline().addLast(new DelimiterBasedFrameDecoder(1024, delimiter));
arg0.pipeline().addLast(new StringDecoder());
arg0.pipeline().addLast(new EchoServerHandler());
}
} }

接着是EchoServerHandler,将接收到的消息打印出来,并记录收到的消息次数:

 public class EchoServerHandler extends ChannelHandlerAdapter {

     private int counter = 0;

     @Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
String body = (String)msg;
System.out.println("This is " + ++counter + " times receive client:[" + body + "]"); body += "$_";
ByteBuf echo = Unpooled.copiedBuffer(body.getBytes());
ctx.writeAndFlush(echo);
} @Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
} }

收到消息之后,将消息加上"$_"回给客户端。看下客户端EchoClient的写法,也是一样,加上DelimiterBasedFrameDecoder:

 public class EchoClient {

     public void connect(int port, String host) throws Exception {
EventLoopGroup group = new NioEventLoopGroup();
try {
Bootstrap b = new Bootstrap(); b.group(group)
.channel(NioSocketChannel.class)
.option(ChannelOption.TCP_NODELAY, true)
.handler(new ChannelInitializer<SocketChannel>() {
protected void initChannel(SocketChannel ch) throws Exception {
ByteBuf delimiter = Unpooled.copiedBuffer("$_".getBytes()); ch.pipeline().addLast(new DelimiterBasedFrameDecoder(1024, delimiter));
ch.pipeline().addLast(new StringDecoder());
ch.pipeline().addLast(new EchoClientHandler());
};
}); // 发起异步连接操作
ChannelFuture f = b.connect(host, port).sync();
// 等待客户端连接关闭
f.channel().closeFuture().sync();
} finally {
// 优雅退出,释放NIO线程组
group.shutdownGracefully();
}
} }

写一个EchoClientHandler,发送10条消息到Server并记录从Server回来的数据:

 public class EchoClientHandler extends ChannelHandlerAdapter {

     private int counter;

     private static final String ECHO_REQ = "Hi, RickyXu, Welcome to Netty.$_";

     public EchoClientHandler() {

     }

     @Override
public void channelActive(ChannelHandlerContext ctx) throws Exception {
for (int i = 0; i < 10; i++) {
ctx.writeAndFlush(Unpooled.copiedBuffer(ECHO_REQ.getBytes()));
}
} @Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
System.out.println("This is" + ++counter + " times receive server:[" + msg + "]");
} @Override
public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
ctx.flush();
} @Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
} }

先运行服务端代码再运行客户端代码,看下服务端收到的数据为:

This is 1 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 2 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 3 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 4 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 5 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 6 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 7 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 8 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 9 times receive client:[Hi, RickyXu, Welcome to Netty.]
This is 10 times receive client:[Hi, RickyXu, Welcome to Netty.]

一模一样收到10条且末尾的分隔符被忽略,客户端收到的响应为:

This is 1 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 2 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 3 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 4 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 5 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 6 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 7 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 8 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 9 times receive server:[Hi, RickyXu, Welcome to Netty.]
This is 10 times receive server:[Hi, RickyXu, Welcome to Netty.]

同样收到了10条数据且忽略了末尾的换行符。

这样我们就通过一个示例演示了使用DelimiterBasedFrameDecoder解决TCP粘包/拆包,下面看一下使用FixedLengthFrameDecoder解决TCP粘包/拆包的示例。

基于FixedLengthFrameDecoder的TCP粘包/拆包解决方案

FixedLengthFrameDecoder是固定长度解码器,它能够按照指定的长度对消息进行自动解码,开发者不需要考虑TCP的粘包/拆包问题,非常实用,

同样看一下例子,先写一个EchoServer,加入FixedLengthFrameDecoder:

public class EchoServer {

    public void bind(int port) throws Exception {
// NIO线程组
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup(); try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.option(ChannelOption.SO_BACKLOG, 1024)
.childHandler(new ChildChannelHandler()); // 绑定端口,同步等待成功
ChannelFuture f = b.bind(port).sync();
// 等待服务端监听端口关闭
f.channel().closeFuture().sync();
} finally {
// 优雅退出,释放线程池资源
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
} private class ChildChannelHandler extends ChannelInitializer<SocketChannel> {
@Override
protected void initChannel(SocketChannel arg0) throws Exception {
arg0.pipeline().addLast(new FixedLengthFrameDecoder(20));
arg0.pipeline().addLast(new StringDecoder());
arg0.pipeline().addLast(new EchoServerHandler());
}
} }

接着下一下EchoServerHandler,EchoServerHandler比较简单:

public class EchoServerHandler extends ChannelHandlerAdapter {

     @Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
System.out.println("Receive client:[" + msg + "]");
} @Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
} }

这里只打印接收到的数据,因为我们使用telnet来模拟发送请求而不是写一个EchoClient。首先telnet一下localhost 8080:

接着使用"Ctrl+]":

输入回车,这样就变成了回显模式,即输入什么看到什么,简单说一下telnet原理:

  1. 建立与服务器的TCP连接
  2. 从键盘上接收输入的字符
  3. 把输入的字符变成标准格式并发送给服务器
  4. 从服务器接收输出的信息
  5. 输出的信息显示在屏幕/控制台上

注意一下第2点+第3点,这里是键盘上输入一个字符就会发送这个字符到服务端的,对这点有疑问的可以在FixedLengthFrameDecoder的decode方法上打断点,就可以看到每输入一个字符,断点就会进入一次。

接着我们"0123456789"这样一直循环输入,FixedLengthFrameDecoder设置的Length是20,按照上面的解释,这样的话应该输入两轮"0123456789"即第二个9输入之后,控制台上就会打印了:

看一下控制台:

Receive client:[01234567890123456789]

没毛病,证明了FixedLengthFrameDecoder确实是按照定长接收包的,如果收到的包是半包消息,FixedLengthFrameDecoder会缓存半包消息并等待下个包到达之后进行拼包,直到读取到一个完整的包

Netty3:分隔符和定长解码器的更多相关文章

  1. netty权威指南学习笔记五——分隔符和定长解码器的应用

    TCP以流的方式进行数据传输,上层应用协议为了对消息进行区分,通常采用以下4中方式: 消息长度固定,累计读取到长度综合为定长LEN的报文后,就认为读取到了一个完整的消息,将计数器置位,重新开始读取下一 ...

  2. Netty(四)分隔符与定长解码器的使用

    TCP以流的形式进行数据传输,上层的应用协议为了对消息进行划分,往往采用如下的4种方式. (1)消息长度固定,累计读到长度总和为定长len的报文后,就认为读取到了一个完整的消息:然后重新开始读取下一个 ...

  3. (入门篇 NettyNIO开发指南)第五章-分隔符和定长解码器使用

    TCP    以流的方式进行数据传输上层的应用协议为了对消息进行区分,往往采用如下4种方式. (1)消息长度固定,累计读取到长度总和为定长LEN 的报文后,就认为读取到了一个完整的消息,将计数器置位, ...

  4. netty: 解决粘包拆包: 分隔符DelimiterBasedFrameDecoder,定长消息FixedLengthFrameDecoder

    DelimiterBasedFrameDecoder 自定义分隔符 给Server发送多条信息,但是server会讲多条信息合并为一条.这时候我们需要对发生的消息指定分割,让client和server ...

  5. 报文格式:xml 、定长报文、变长报文

    目前接触到的报文格式有三种:xml .定长报文.变长报文 . 此处只做简单介绍,日后应该会深入学习到三者之间如何解析,再继续更新.——2016.9.23 XML XML 被设计用来传输和存储数据. H ...

  6. Python 数据处理----对定长数据的处理

    场景: 有时候我们对大量数据进行处理,对性能要求很高,而且数据都是定长的,比如对移动信息登记表进行处理:名字 身份证信息 手机号码 这些都是定长的,今天小花来教大家如何对此类数据进行处理. 步骤一: ...

  7. javascript实现数据结构:串--定长顺序存储表示以及kmp算法实现

    串(string)(或字符串)是由零个或多个字符组成的有限序列.串中字符的数目称为串的长度.零个字符的串称为空串(null string),它的长度为零. 串中任意个连续的字符组成的子序列称为该串的子 ...

  8. 定长内存池之BOOST::pool

    内存池可有效降低动态申请内存的次数,减少与内核态的交互,提升系统性能,减少内存碎片,增加内存空间使用率,避免内存泄漏的可能性,这么多的优点,没有理由不在系统中使用该技术. 内存池分类: 1.      ...

  9. Java随机生成定长纯数字或数字字母混合数

    (转)Java随机生成定长纯数字或数字字母混合数 运行效果图: 具体实现代码

随机推荐

  1. C# Linq GroupBy 分组过滤求和

    var delOrderData = orderLogList.Where(x => (x.OlStatus == 0 && x.OlUpId == null)).GroupBy ...

  2. 关于Linux虚拟化技术KVM的科普 科普一(先用起来!)

    是骡子是马是拉出来溜溜,通过<KVM虚拟化技术之使用Qemu-kvm创建和管理虚拟机>跑一遍,就会对KVM.QEMU-KVM有个大概的认识了. qemu-kvm已经不单独存在,qemu加上 ...

  3. 第九章——运行tensorflow(Up and Running with TensorFlow)

    本章简单介绍了TensorFlow的安装以及使用.一些细节需要在后续的应用中慢慢把握. TensorFlow并不仅仅局限于神经网络和机器学习,它甚至可以用于量子物理仿真. TensorFlow的优势: ...

  4. MongoDB中文档操作(二)

    一.插入文档  1.db.集合名.insert()   插入一个:db.user.insert({name:"Join",age:13,address:"beijing& ...

  5. Java 实现 HttpClients+jsoup,Jsoup,htmlunit,Headless Chrome 爬虫抓取数据

    最近整理一下手头上搞过的一些爬虫,有HttpClients+jsoup,Jsoup,htmlunit,HeadlessChrome 一,HttpClients+jsoup,这是第一代比较low,很快就 ...

  6. [SQL Server]用 C# 在 LinqPad 建立 Linked Server 跨服务器数据库操作

    在涉及老项目数据迁移的时候,数据库结构已经完全发生变化,而且需要对老数据进行特殊字段的处理,而且数据量较大,使用Navicat导出单表之后,一个表数据大概在100多万的样子,直接导出SQL执行根本行不 ...

  7. Spring Boot中使用MyBatis注解配置详解(1)

    之前在Spring Boot中整合MyBatis时,采用了注解的配置方式,相信很多人还是比较喜欢这种优雅的方式的,也收到不少读者朋友的反馈和问题,主要集中于针对各种场景下注解如何使用,下面就对几种常见 ...

  8. visual studio2015中开发python

    之前下载了visual studio2017但是发现很不好用,不如使用matlab与visual studio混合编程就根本找不到visual studio,只有下了visual studio2015 ...

  9. numpy C语言源代码调试(二)

    前一篇已经介绍,可以使用gdb进行调试,但是本人不太习惯gdb的文本界面,所以希望找一个比较好用的gdb的前端gui调试器. 想到的第一个是一个非常老的调试工具,DDD. DDD - Data Dis ...

  10. 基于Token认证的多点登录和WebApi保护

    在文章中有错误的地方,或是有建议或意见的地方,请大家多多指正,邮箱: linjie.rd@gmail.com 一天张三,李四,王五,赵六去动物园,张三没买票,李四制作了个假票,王五买了票,赵六要直接F ...