Netty：ChannelInitializer

1. 作用用于在某个Channel注册到EventLoop后,对这个Channel执行一些初始化操作.ChannelInitializer虽然会在一开始会被注册到Channel相关的pipeline里,但是在初始化完成之后,ChannelInitializer会将自己从pipeline中移除,不会影响后续的操作. 2. 实现原理 @Override public void handlerAdded(ChannelHandlerContext ctx) throws Exception { if…

Netty：简单使用

Netty是什么东西 Netty是一个封装很好的异步事件驱动框架,让我们快速的部署服务端和客户端的网络应用,进行异步IO通信. 1.什么是IO通信IO就是input 和 output,是一种在两台主机.两个进程或者两个线程之间传输数据的方法2.什么是异步异步和同步相对应,同步举个例子就是:a线程和b线程通信时,a每次准备要读取b的数据时,得在原地等b将数据传过来,不能进行其他操作(b等a也一样) 异步就是:线程a每次只需要看看线程b有没有传数据过来,有就读取,没有就执行其他操作. 感觉就类似…

Netty：一种非易失堵塞client/server相框

Netty:一种非易失堵塞client/server相框作者:chszs.转载需注明.博客主页:http://blog.csdn.net/chszs Netty是一个异步事件驱动的网络应用框架,为Java网络应用的开发带来了一些新活力.Netty由协议server和client所组成.可用于高速开发可维护的高性能软件.Netty应用框架及其工具简化了网络编程,并且由Netty社区进行维护. Netty还被归类为NIOclient/server框架.用它能够高速.简易地开发网络应用.使得TCP和…

微言Netty：分布式服务框架

1. 前言几年前,我就一直想着要设计一款自己的实时通讯框架,于是出来了TinySocket,她是基于微软的SocketAsyncEventArgs来实现的,由于此类提供的功能很简洁,所以当时自己实现了缓冲区处理,粘包拆包等,彼时的.net平台还没有一款成熟的即时通讯框架出来,所以当这款框架出来的时候,将当时公司的商业项目的核心竞争力提升至行业前三.但是后来随着.net平台上越来越多的即时通讯框架出来,TinySocket也是英雄暮年,经过了诸多版本迭代和诸多团队经手,她不仅变得臃肿,而且也不符…

Netty：初识Netty

前文总结了NIO的内容,有了NIO的一些基础之后,我们就可以来看下Netty.Netty是Java领域的高性能网络传输框架,RPC的技术核心就是网络传输和序列化,所以Netty给予了RPC在网络传输领域巨大的支持. 一个简单的Netty代码实现网络传输基于的是TCP协议,所以会有服务端和客户端之分,而Netty是网络传输框架,所以一个完整的Netty代码至少是有服务端和客户端的.本文代码基于Netty4.1.15. 服务端: public class DemoServer { public s…

Netty：Reactor Pattern 与 Dubbo 底层传输中的 NettyServer

首先,我们需要了解Reactor模式的三种线程模型: 1)单线程模型 Reactor 单线程模型,指的是所有的 IO 操作都在同一个 NIO 线程上面完成,NIO 线程的职责如下: 作为 NIO 服务端,接收客户端的 TCP 连接: 作为 NIO 客户端,向服务端发起 TCP 连接: 读取通信对端的请求或者应答消息: 向通信对端发送消息请求或者应答消息. Reactor 单线程模型示意图如下所示: 由于 Reactor 模式使用的是异步非阻塞 IO,所有的 IO 操作都不会导致阻塞,理论上一个线…

Netty：数据处理流程

Netty作为异步的.事件驱动一个网络通信框架,使用它可以帮助我们快速开发高性能高可靠性的网络服务. 为了更好的使用Netty来解决开发中的问题,学习Netty是很有必要的. Netty现在主流有三个版本:Netty3.Netty4.Netty5.这三个版本中,变化最大的要数线程模型了,各版本的线程模型均不相同.但是有一点是变化不大的,那就是Channel模型,因而数据处理流程也不会有太大的变化.所以本篇就来说一下Netty的数据处理流程,各版本的线程模型会后续说明. Channel 模型关于…

微言netty：不在浮沙筑高台

1. 写作缘起几年前,我在一家农业物联网公司,负责解决其物联网产品线.我们当时基于.net平台打造了一套实时数据采集系统,可以把数以百万级的传感器传送回来的数据采集入库并根据这些数据进行建模.在搭建这套实时数据采集系统的时候,高并发高可用被首次提出,同时要求系统不会有太大的时延.一旦有时延,也就意味着损失.比如一个有3000头猪的猪舍,假设空气温度达到了比较高的水平,但是采集探头采集的数据上传到服务器管道中,由于被积压了5分钟后才被处理,那么主动预警系统打开风机的时候,也许已经晚了,这五分钟的…

Netty：option和childOption参数设置说明

Channel配置参数 (1).通用参数 CONNECT_TIMEOUT_MILLIS : Netty参数,连接超时毫秒数,默认值30000毫秒即30秒. MAX_MESSAGES_PER_READ Netty参数,一次Loop读取的最大消息数,对于ServerChannel或者NioByteChannel,默认值为16,其他Channel默认值为1.默认值这样设置,是因为:ServerChannel需要接受足够多的连接,保证大吞吐量,NioByteChannel可以减少不必要的系统调用…

Netty：Channel 建立后消息发送失败

1. 问题现象 Channel 建立后消息发送失败: ChannelFuture future = DeviceManager.getBootstrap().connect(); deviceChannel = future.channel(); connection.setChannel(deviceChannel); sendRegister(); 2. 原因分析 Netty 中 ChannelFuture 的作用是用来保存Channel异步操作的结果. 在Netty中所有的I/O操作都是异…

Netty：Channel

上一篇我们通过一个简单的Netty代码了解到了Netty中的核心组件,这一篇我们将围绕核心组件中的Channel来展开学习. Channel的简介 Channel代表着与网络套接字或者能够进行IO操作(read.write.connect或者bind)的组件的联系,一个Channel向用户提供了如下内容: 1.Channel当前的状态,比如是否打开.是否连接: 2.Channel的配置参数,比如接收缓冲区的大小: 3.Channel支持的IO操作(read.write.connect或者bind…

Netty：ChannelFuture

上一篇我们完成了对Channel的学习,这一篇让我们来学习一下ChannelFuture. ChannelFuture的简介 ChannelFuture是Channel异步IO操作的结果. Netty中的所有IO操作都是异步的.这意味着任何IO调用都将立即返回,而不能保证所请求的IO操作在调用结束时完成.相反,将返回一个带有ChannelFuture的实例,该实例将提供有关IO操作的结果或状态的信息. ChannelFuture要么是未完成状态,要么是已完成状态.IO操作刚开始时,将创建一个新的…

微言Netty：百万并发基石上的epoll之剑

说道本章标题,相信很多人知道我在暗喻石中剑这个典故,在此典故中,天命注定的亚瑟很容易的就拔出了这把石中剑,但是由于资历不被其他人认可,所以他颇费了一番周折才成为了真正意义上的英格兰全境之王,亚瑟王.说道这把剑,剑身上铭刻着这样一句话:ONLY THE KING CAN TAKE THE SWORD FROM THE STONE.虽然典故中的the king是指英明之主亚瑟王,但是在本章中,这个king就是读者自己,我们今天不仅要从百万并发基石上拔出这把epoll之剑,也就是Netty,而且要利用…

Netty：Netty中的零拷贝（Zero Copy）

零复制概念: " 零复制"描述了计算机操作,其中CPU不执行将数据从一个存储区复制到另一个存储区的任务.通过网络传输文件时,通常用于节省CPU周期和内存带宽. WIKI的定义中,我们看到 "零复制" 是指计算机操作的过程,不需要消耗CPU资源来在内存之间进行数据复制.它通常是指计算机在网络上发送文件时,不需要将文件的内容复制到用户空间并将其直接传输到内核空间中的网络的方式. ① 非零副本(传统的数据复制方法): → :CPU Copy(慢) → :DMA(直接内存访…

Netty：Netty的介绍以及它的核心组件（三）—— 事件和ChannelHandler

Netty 使用异步事件驱动(Asynchronous Event-Driven)的应用程序范式,因此数据处理的管道(ChannelPipeLine)是经过处理程序(ChannelHandler)的事件链.事件和处理程序可以与入站和出站数据流相关.入站事件可以是以下各项: 通道激活和停用读取操作事件异常事件用户事件出站事件更简单,通常与打开/关闭连接以及写入/刷新数据有关. 事件驱动模型事件驱动是指在持续事务管理过程中,进行决策的一种策略,即跟随当前时间点上出现的事件,调动可用资源,执…

Netty：Netty的介绍以及它的核心组件（二）—— ChannelFuture与回调

Callback 回调一个 Callback(回调)就是一个方法,一个提供给另一个的方法的引用. 这让另一个方法可以在适当的时候回过头来调用这个 callback 方法.Callback 在很多编程情形中被广泛使用,是用于通知相关方某个操作已经完成最常用的方法之一.Netty在处理事件时内部使用了 callback:当一个 callback被触发,事件可以被 ChannelHandler 的接口实现处理. 1 public class ConnectHandler extends Channe…

Netty：Netty的介绍以及它的核心组件（一）—— Channel

1. Netty 介绍 Netty 是一个无阻塞的输入/输出(NIO)框架,它使开发低级网络服务器和客户端变得相对简单.Netty为需要在套接字级别上工作的开发人员提供了令人难以置信的强大功能,例如,在开发客户端和服务器之间的自定义通信协议时.它支持SSL / TLS,具有阻塞和非阻塞统一API,以及灵活的线程模型.它又快又高效. Netty 的异步.非阻塞 I/O 模型是为高度可扩展的体系结构设计的,与类似的其他阻塞模型相比,它可能允许更高的吞吐量.基本上,非阻塞服务器在单个线程上异步运行所有…

Mina、Netty、Twisted一起学（八）：HTTP服务器

HTTP协议应该是目前使用最多的应用层协议了,用浏览器打开一个网站就是使用HTTP协议进行数据传输. HTTP协议也是基于TCP协议,所以也有服务器和客户端.HTTP客户端一般是浏览器,当然还有可能是其他东西.HTTP服务器,也就是Web服务器,目前已经有很多成熟的产品,例如Apache HTTP Server.Tomcat.Nginx.IIS等. 本文的内容不是讲解如何使用以上的HTTP服务器,而是要分别用MINA.Netty.Twisted实现一个简单的HTTP服务器. 首先,要简单了解一下…

Mina、Netty、Twisted一起学（十）：线程模型

要想开发一个高性能的TCP服务器,熟悉所使用框架的线程模型非常重要.MINA.Netty.Twisted本身都是高性能的网络框架,如果再搭配上高效率的代码,才能实现一个高大上的服务器.但是如果不了解它们的线程模型,就很难写出高性能的代码.框架本身效率再高,程序写的太差,那么服务器整体的性能也不会太高.就像一个电脑,CPU再好,内存小硬盘慢散热差,整体的性能也不会太高. 玩过Android开发的同学会知道,在Android应用中有一个非常重要线程:UI线程(即主线程).UI线程是负责一个Andro…

Mina、Netty、Twisted一起学（七）：发布/订阅（Publish/Subscribe）

消息传递有很多种方式,请求/响应(Request/Reply)是最常用的.在前面的博文的例子中,很多都是采用请求/响应的方式,当服务器接收到消息后,会立即write回写一条消息到客户端.HTTP协议也是基于请求/响应的方式. 但是请求/响应并不能满足所有的消息传递的需求,有些需求可能需要服务端主动推送消息到客户端,而不是被动的等待请求后再给出响应. 发布/订阅(Publish/Subscribe)是一种服务器主动发送消息到客户端的消息传递方式.订阅者Subscriber连接到服务器客户端后,相当…

Mina、Netty、Twisted一起学（六）：session

开发过Web应用的同学应该都会使用session.由于HTTP协议本身是无状态的,所以一个客户端多次访问这个web应用的多个页面,服务器无法判断多次访问的客户端是否是同一个客户端.有了session就可以设置一些和客户端相关的属性,用于保持这种连接状态.例如用户登录系统后,设置session标记这个客户端已登录,那么访问别的页面时就不用再次登录了. 不过本文的内容不是Web应用的session,而是TCP连接的session,实际上二者还是有很大区别的.Web应用的session实现方式并不是基…

Mina、Netty、Twisted一起学（五）：整合protobuf

protobuf是谷歌的Protocol Buffers的简称,用于结构化数据和字节码之间互相转换(序列化.反序列化),一般应用于网络传输,可支持多种编程语言. protobuf如何使用这里不再介绍,本文主要介绍在MINA.Netty.Twisted中如何使用protobuf,不了解protobuf的同学可以去参考我的另一篇博文. 在前面的一篇博文中,有介绍到一种用一个固定为4字节的前缀Header来指定Body的字节数的一种消息分割方式,在这里同样要使用到.只是其中Body的内容不再是字符串,…

Mina、Netty、Twisted一起学（三）：TCP消息固定大小的前缀(Header)

在上一篇博文中,有介绍到用换行符分割消息的方法.但是这种方法有个小问题,如果消息中本身就包含换行符,那将会将这条消息分割成两条,结果就不对了. 本文介绍另外一种消息分割方式,即上一篇博文中讲的第2条:use a fixed length header that indicates the length of the body,用一个固定字节数的Header前缀来指定Body的字节数,以此来分割消息. 上面图中Header固定为4字节,Header中保存的是一个4字节(32位)的整数,例如12即为…

Mina、Netty、Twisted一起学（四）：定制自己的协议

在前面的博文中,介绍一些消息分割的方案,以及MINA.Netty.Twisted针对这些方案提供的相关API.例如MINA的TextLineCodecFactory.PrefixedStringCodecFactory,Netty的LineBasedFrameDecoder.LengthFieldBasedFrameDecoder,Twisted的LineOnlyReceiver.Int32StringReceiver. 除了这些方案,还有很多其他方案,当然也可以自己定义.在这里,我们定制一个自…

Mina、Netty、Twisted一起学（二）：TCP消息边界问题及按行分割消息

在TCP连接开始到结束连接,之间可能会多次传输数据,也就是服务器和客户端之间可能会在连接过程中互相传输多条消息.理想状况是一方每发送一条消息,另一方就立即接收到一条,也就是一次write对应一次read.但是,现实不总是按照剧本来走. MINA官方文档节选: TCP guarantess delivery of all packets in the correct order. But there is no guarantee that one write operation on the s…

Mina、Netty、Twisted一起学（一）：实现简单的TCP服务器

MINA.Netty.Twisted为什么放在一起学习?首先,不妨先分别看一下它们官方网站对其的介绍: MINA: Apache MINA is a network application framework which helps users develop high performance and high scalability network applications easily. It provides an abstract event-driven asynchronous AP…