Netty源码分析(完整版)

前言

前段时间公司准备改造redis的客户端, 原生的客户端是阻塞式链接, 并且链接池初始化的链接数并不高, 高并发场景会有获取不到连接的尴尬, 所以考虑了用netty长连接解决连接数和阻塞io问题

为此详细阅读了netty源码, 熟悉了netty的各个主要的特性以及疏通各个组件的关联关系, 所以想把这段时间的学习内容, 学习经验毫无保留的分享给大家, 自己提高的同时也帮助大家一起成长

内容中我会把每个知识点通过每个章节去进行剖析, 每个章节也会尽可能的将关键的流程细化, 希望大家在学习的过程中能领会到源码的关键步骤, 最好能自己能debug到源码进行剖析

此文档会根据自己对netty的学习深入, 不断地更新, 不断的细化, 不断的深入各个模块的原理

由于个人技术能力有限, 难免会有疏漏和错误的地方(个人学习过程中就发现了一些其他文档中的错误), 发现问题, 也希望各位同学及时指正(轻喷.....)

下面概括一些要点:

1.  学习netty源码需要什么知识?

java基础就不用说了.....

由于本文档只是netty源码剖析并不是netty教程, 所以这里并不打算讲nio和netty怎么用, 不了解的小伙伴可以首先熟悉下nio编程的基础, 没做过实战项目没关系, 能写出helloworld, 并知道每一步是做什么的, 足矣

其次要有netty基本使用的能力, 我们要知道netty完成链路之后在哪里执行我们自定义的业务逻辑, 收到服务端(或者客户端)消息之后我们需要在什么地方处理, 如果这块不熟悉, 可以网上找个demo学习, 或者学习下《netty实战》, 对此会有一个清晰的认识

再次我们熟悉多线程相关的知识, 最好是用过jdk的线程并发库

如果以上知识都没问题, 那就开始愉快的学习吧

2.  这个文档如何学习?

文章会以章节的形式将每个模块的关键部分进行剖析, 并且随着自己研究的不断深入进行补充和修改, 文章并不打算对每个细节进行细致入微的讲解, 而是提炼关键代码, 辅助大家串通整个netty的脉络, 串通的脉络之后, 我们会很容易理解各个模块在框架中所承担的责任和义务, 之后如果进行自学就会变得非常容易

内容会尽量用简单通俗的语言进行描述, 并且会附带我曾经学习某一部分的思考逻辑, 这些思路有可能会和读者产生共鸣, 从而能得心应手的解决学习当中的困惑

每一个源码, 我都会通过注释去讲解一些关键逻辑, 小伙伴们可以多关注下注释

在源码剖析过程中, 同学们需要自己debug进源码, 自己去疏通相关的逻辑关系, 只有课后自己动手, 才会真正掌握其原理, 否则, 是很难消化每一部分的精髓的

在内容中我也会提示大家, 需要关注的哪些步骤, 初学者只需要将自己的精力放在需要关注的步骤就好. 如果对其他步骤感兴趣也可以课后进行自行剖析

由于文章中会经常跟源码, 有的方法会跟的比较深, 所以跟踪方法的步骤会用加粗标志, 方便读者找到相应方法

最好, 是一边看着文档另一边看着源码, 防止方法跟踪太深自己找不到回来的路........

3.  这篇文档学习完之后能达到什么水平?

写这篇文档的目的就是通过带同学们解析源码的方式串通netty的整改脉络, 学完之后之后不能保证你能精通netty, 但至少我们能串通起整个脉络, 熟悉每一个组件, 每一个模块在netty中所承担的角色, 以及一个消息从发送到接受经历了什么步骤, 从而使我们能更容易的理解到这个框架的精髓, 为以后的继续深入打下坚实的根基......

当然, 如果你学习的足够认真, 真正理解了脉络, 自己写一个简单的netty也不是不可能

用我最近的喜欢的鸡汤激励下小伙伴: 种树最好的时间是十年前, 其次是现在....

最后提醒下读者, 本文基于Netty的版本是4.1.16.Final

废话了这么多, 正文开始.....

目录:

第一章: 服务端启动流程

第一节: 服务端初始化

第二节: NioServerSocketChannel的创建

第三节: 服务端Channel的初始化

第四节: 注册多路复用

第五节: 绑定端口

第二章: NioEventLoop

第一节: NioEventLoopGroup之创建线程执行器

第二节: NioEventLoopGroup之NioEventLoop的创建

第三节: 初始化线程选择器

第四节: NioEventLoop线程启动

第五节: 优化selector

第六节: 执行select操作

第七节: 处理IO事件

第八节: 执行任务队列

第三章: 客户端接入流程

第一节: 初始化NioSocketChannelConfig

第二节: 处理接入事件之handle的创建

第三节: NioSocketChannel的创建

第四节: NioSocketChannel注册到selector

第五节: 监听读事件

第四章: pipeline

第一节: pipeline的创建

第二节: handler的添加

第三节: handler的删除

第四节: 传播inbound事件

第五节: 传播outbound事件

第六节: 传播异常事件

第七节: 前章节内容回顾

第五章: ByteBuf

第一节: AbstractByteBuf

第二节: ByteBuf的分类

第三节: 缓冲区分配器

第四节: PooledByteBufAllocator简述

第五节: directArena分配缓冲区概述

第六节: 命中缓存的分配

第七节: page级别的内存分配

第八节: Subpage级别的内存分配

第九节: ByteBuf的回收

第十节: SocketChannel读取数据的过程

第六章: 解码器

第一节: ByteToMessageDecoder

第二节: 固定长度解码器

第三节: 行解码器

第四节: 分隔符解码器

第七章: 编码器和写数据

第一节: writeAndFlush事件传播

第二节: MessageToByteEncoder

第三节: 写buffer队列

第四节: 刷新buffer队列

第五节: Future和Promise

第八章: 高性能工具类FastThreadLocal和Recycler

第一节: FastThreadLocal的使用和创建

第二节: FastThreadLocal的set方法

第三节: recycler的使用和创建

第四节: recycler中获取对象

第五节: 同线程回收对象

第六节: 异线程回收对象

第七节: 获取异线程释放的对象

下一节: 服务端初始化

Netty源码分析(前言, 概述及目录)的更多相关文章

  1. Netty源码分析第5章(ByteBuf)---->第5节: directArena分配缓冲区概述

    Netty源码分析第五章: ByteBuf 第五节: directArena分配缓冲区概述 上一小节简单分析了PooledByteBufAllocator中, 线程局部缓存和arean的相关逻辑, 这 ...

  2. Netty源码分析第1章(Netty启动流程)---->第1节: 服务端初始化

    Netty源码分析第一章:  Server启动流程 概述: 本章主要讲解server启动的关键步骤, 读者只需要了解server启动的大概逻辑, 知道关键的步骤在哪个类执行即可, 并不需要了解每一步的 ...

  3. Netty 源码分析系列(二)Netty 架构设计

    前言 上一篇文章,我们对 Netty做了一个基本的概述,知道什么是Netty以及Netty的简单应用. Netty 源码分析系列(一)Netty 概述 本篇文章我们就来说说Netty的架构设计,解密高 ...

  4. Netty源码分析第2章(NioEventLoop)---->第1节: NioEventLoopGroup之创建线程执行器

    Netty源码分析第二章: NioEventLoop 概述: 通过上一章的学习, 我们了解了Server启动的大致流程, 有很多组件与模块并没有细讲, 从这个章开始, 我们开始详细剖析netty的各个 ...

  5. Netty源码分析第3章(客户端接入流程)---->第1节: 初始化NioSockectChannelConfig

    Netty源码分析第三章: 客户端接入流程 概述: 之前的章节学习了server启动以及eventLoop相关的逻辑, eventLoop轮询到客户端接入事件之后是如何处理的?这一章我们循序渐进, 带 ...

  6. Netty源码分析第4章(pipeline)---->第1节: pipeline的创建

    Netty源码分析第四章: pipeline 概述: pipeline, 顾名思义, 就是管道的意思, 在netty中, 事件在pipeline中传输, 用户可以中断事件, 添加自己的事件处理逻辑, ...

  7. Netty源码分析第4章(pipeline)---->第4节: 传播inbound事件

    Netty源码分析第四章: pipeline 第四节: 传播inbound事件 有关于inbound事件, 在概述中做过简单的介绍, 就是以自己为基准, 流向自己的事件, 比如最常见的channelR ...

  8. Netty源码分析第5章(ByteBuf)---->第1节: AbstractByteBuf

    Netty源码分析第五章: ByteBuf 概述: 熟悉Nio的小伙伴应该对jdk底层byteBuffer不会陌生, 也就是字节缓冲区, 主要用于对网络底层io进行读写, 当channel中有数据时, ...

  9. Netty源码分析第5章(ByteBuf)---->第4节: PooledByteBufAllocator简述

    Netty源码分析第五章: ByteBuf 第四节: PooledByteBufAllocator简述 上一小节简单介绍了ByteBufAllocator以及其子类UnPooledByteBufAll ...

随机推荐

  1. [Spark Streaming_1] Spark Streaming 概述

    0. 说明 Spark Streaming 介绍 && 在 IDEA 中编写 Spark Streaming 程序 1. Spark Streaming 介绍 Spark Stream ...

  2. Linux之JDK1.8的安装

    这个最基础的,但是老是查了一次又查,干脆记起来吧. 一.下载jdk8 地址:http://www.oracle.com/technetwork/java/javase/downloads/index. ...

  3. ReportViewer 安装

    选择“工具”>“Nuget包管理器”>“程序包管理器控制台” 执行命令:Install-Package Microsoft.ReportingServices.ReportViewerCo ...

  4. Linux命令网络命令之netstat

    Linux命令网络命令之netstat 这一年感觉到技术上成长到了一个瓶颈.可能是感觉自己学的东西足够应付目前的工作了,因此精神上就产生了懈怠,不思进取.到了一个技术氛围不错的公司,有许多专业能力很不 ...

  5. C++类中的特殊成员函数-------复制构造函数

    在C++中存在一个特殊函数,他就是复制构造函数,假如我们有类A,如果有A a;A b=a;   在这种情况下利用A类变量a来给同是A类变量的b来赋值,这个时候类会使用复制构造函数,如果我们不显式声明复 ...

  6. 详解Web请求中的DNS域名解析

    当我们打开浏览器,输入一个URL去请求我们需要的资源,但是URL是需要解析成对应的IP地址才能与远程主机建立连接,如何将URL解析成IP就是DNS的工作范畴,即使作为开发人员,这个过程我们也感觉不到, ...

  7. 晚上打开eclipse时碰到这个问题 :Workspace in use or cannot be created, choose a different one.

    晚上打开eclipse时碰到这个问题 :Workspace in use or cannot be created, choose a different one. 网上看到这方面的解决方式: 原因: ...

  8. Spark项目之电商用户行为分析大数据平台之(九)表的设计

    一.概述 数据设计,往往包含两个环节: 第一个:就是我们的上游数据,就是数据调研环节看到的项目基于的基础数据,是否要针对其开发一些Hive ETL,对数据进行进一步的处理和转换,从而让我们能够更加方便 ...

  9. 1 TCP/IP通信

    重点参考长链接http://blog.csdn.net/fengyuzhengfan/article/details/38830115 http://blog.csdn.net/Jsagacity/a ...

  10. 8、JVM--虚拟机字节码执行引擎

    8.1.概述 执行引擎是Java虚拟机最核心的组成部分之一.“虚拟机”是一个相对于“物理机”的概念,这两种机器都有代码执行能力,其区别是物理机的执行引擎是直接建立在处理器.硬件.指令集和操作系统层面上 ...