netty源码解解析(4.0)-14 Channel NIO实现:读取数据

　　 本章分析Nio Channel的数据读取功能的实现。

　　Channel读取数据需要Channel和ChannelHandler配合使用，netty设计数据读取功能包括三个要素：Channel, EventLoop和ChannelHandler。Channel有个read方法，这个方法不会直接读取数据，它的作用是通知持有当前channel的eventLoop可以从这个这个channel读取数据了，这个方法被调用之后eventLoop会在channel有数据可读的时候从channel读出数据然后把数据放在channelRead事件中交给ChannelInboundHandler的channelRead方法处理，当eventLoop发现channel中暂时没时间可读会触发一个channelReadComplete事件。

　　read: Nio Channel通知eventLoop开始读数据

　　channel read方法的调用栈:

 io.netty.channel.AbstractChannel#read
 io.netty.channel.DefaultChannelPipeline#read
 io.netty.channel.AbstractChannelHandlerContext#read
 io.netty.channel.AbstractChannelHandlerContext#invokeRead
 io.netty.channel.DefaultChannelPipeline.HeadContext#read
 io.netty.channel.AbstractChannel.AbstractUnsafe#beginRead
 io.netty.channel.nio.AbstractNioChannel#doBeginRead

　　调用channel的read的方法，会触发read事件，通过pipeline调用AbstractChannel unsafe的beginRead方法，这个方法的语义是通知eventLoop可以从channel读数据了，但他没有实现具体功能，把具体功能留给doBeginRead实现。doBeginRead在AbstractChannel中定义，它是一个抽象方法。AbstractNioChannel实现了这个方法:

 @Override
 protected void doBeginRead() throws Exception {
     // Channel.read() or ChannelHandlerContext.read() was called
     if (inputShutdown) {
         return;
     }

     final SelectionKey selectionKey = this.selectionKey;
     if (!selectionKey.isValid()) {
         return;
     }

     readPending = true;

     final int interestOps = selectionKey.interestOps();
     if ((interestOps & readInterestOp) == 0) {
         selectionKey.interestOps(interestOps | readInterestOp);
     }
 }

　　这里的doBeginRead实现，只有第17行是核心代码：把readInterestOps保存是的read操作标志添加到SelectableChannel的SelectionKey中。这里的readInterestOps是一个类的属性，在AbstractNioChannel中，它没有明确的定义，只有一个抽象的定义:NIO中的一个可以可以当成read操作的的标志。在NIO中可以当成read的有SelectionKey.OP_READ和SelectionKey.OP_ACCEPT。readInterestOps在AbstractNioChannel的构造方法中使用传入的参数初始化，子类就可以根据需要确定interestOps的具体含义。

　　设置好beginRead之后，NioEventLoop就可以使用Selector得到检测到channel上的read事件了，下面是NioEventLoop中处理read事件的代码:

 //io.netty.channel.nio.NioEventLoop#processSelectedKey(java.nio.channels.SelectionKey, io.netty.channel.nio.AbstractNioChannel)
 if ((readyOps & (SelectionKey.OP_READ | SelectionKey.OP_ACCEPT)) != 0 || readyOps == 0) {
     unsafe.read();
 }

　　这里调用了unsafe的read的方法，在Channel的Unsafe中并没有定义这个方法，它在io.netty.channel.nio.AbstractNioChannel.NioUnsafe中定义，在io.netty.channel.nio.AbstractNioMessageChannel.NioMessageUnsafe和io.netty.channel.nio.AbstractNioByteChannel.NioByteUnsafe中有两个不同的实现。这两个实现的区别是：NioMessageUnsafe.read是把从channel中读出的数据转换成Object, NioByteUnsafe.read是从channel中读出byte数据流。下面来详解分析这两种实现。

　　

　　AbstractNioChannel.NioUnsafe.read实现：从channel读取数据

　　netty在NIO Channel的设计上，把读数据设计成独立的抽象层。之所以这样设计有两个方面的原因:

1. 在NIO中，三中不同类型的Channel读取的数据类型是不一样的，NioServerSocketChannel读出的是一个新建的NioSockeChannel, NioSocketChannel读出的byte数据流，NioDatagramChannel读出是数据报。
2. NIO三种Channel都运行在非阻塞模式下，相比于阻塞模式，非阻塞模式下读数据要处理的问题要复杂的多。使用Selector和非阻塞模式被动地读取数据，需要处理连接断开和socket异常，由于Selector使用的是边缘触发模式，一次read调用务必要把已经在socket recvbuffer中的数据全部读出来，否则可以导致数据丢失或数据接收不及时。把read独立出来处理读取数据的复杂性，代码结构会比较清晰。

　　接下来开始详细分析NioUnsafe read方法的两种不同的实现。　

　　io.netty.channel.nio.AbstractNioMessageChannel.NioMessageUnsafe.read实现: 从channel中读出Object

　　这个实现是主要功能是调用doReadMessages方法，从channel中读出Object消息，具体的类型这里没有限制，doReadMessages是一个抽象方法，留给子类实现, 下面是read方法的实现:

 //io.netty.channel.nio.AbstractNioMessageChannel.NioMessageUnsafe
 @Override
 public void read() {
     assert eventLoop().inEventLoop();
     final ChannelConfig config = config();
     if (!config.isAutoRead() && !isReadPending()) {
         // ChannelConfig.setAutoRead(false) was called in the meantime
         removeReadOp();
         return;
     }

     final int maxMessagesPerRead = config.getMaxMessagesPerRead();
     final ChannelPipeline pipeline = pipeline();
     boolean closed = false;
     Throwable exception = null;
     try {
         try {
             for (;;) {
                 int localRead = doReadMessages(readBuf);
                 if (localRead == 0) {
                     break;
                 }
                 if (localRead < 0) {
                     closed = true;
                     break;
                 }

                 // stop reading and remove op
                 if (!config.isAutoRead()) {
                     break;
                 }

                 if (readBuf.size() >= maxMessagesPerRead) {
                     break;
                 }
             }
         } catch (Throwable t) {
             exception = t;
         }
         setReadPending(false);
         int size = readBuf.size();
         for (int i = 0; i < size; i ++) {
             pipeline.fireChannelRead(readBuf.get(i));
         }

         readBuf.clear();
         pipeline.fireChannelReadComplete();

         if (exception != null) {
             closed = closeOnReadError(exception);

             pipeline.fireExceptionCaught(exception);
         }

         if (closed) {
             if (isOpen()) {
                 close(voidPromise());
             }
         }
     } finally {
         // Check if there is a readPending which was not processed yet.
         // This could be for two reasons:
         // * The user called Channel.read() or ChannelHandlerContext.read() in channelRead(...) method
         // * The user called Channel.read() or ChannelHandlerContext.read() in channelReadComplete(...) method
         //
         // See https://github.com/netty/netty/issues/2254
         if (!config.isAutoRead() && !isReadPending()) {
             removeReadOp();
         }
     }
 }

　　 第12行，得到一次循环读取消息的最大数量maxMessagesPerRead，这个配置的默认值因不同的channel类型而不同，io.netty.channel.ChannelConfig提供了setMaxMessagesPerRead方法设置这个配置的值。调节这个值的大小可以影响I/O操作在eventLoop线程分配的执行时间，它的值越大，I/O操作站的时间越大。

　　18-36行，使用doReadMessages读取消息，并把消息放到readBuf中，readBuf是List<Object>类型。20,21行，没有可读的数据结束循环。23-25行，socket已经关闭。33，34行，readBuf中的消息数量已经超过限制，跳出循环。

　　41-47行，对readBuf中的每一个消息触发一次channelRead事件，然后清空readBuf, 触发channelReadComplete事件。

　　49-53行，处理异常。

　　55-59行，处理channel正常关闭。

　　doReadMessages方法有两个实现。一个是io.netty.channel.socket.nio.NioServerSocketChannel#doReadMessages，这个实现中读出的消息是NioSocketChannel。另一个是io.netty.channel.socket.nio.NioDatagramChannel#doReadMessages，这个实现中读出的消息时DatagramPacket。

　　io.netty.channel.socket.nio.NioServerSocketChannel#doReadMessages实现代码:

 @Override
 protected int doReadMessages(List<Object> buf) throws Exception {
     SocketChannel ch = SocketUtils.accept(javaChannel());

     try {
         if (ch != null) {
             buf.add(new NioSocketChannel(this, ch));
             return 1;
         }
     } catch (Throwable t) {
         logger.warn("Failed to create a new channel from an accepted socket.", t);

         try {
             ch.close();
         } catch (Throwable t2) {
             logger.warn("Failed to close a socket.", t2);
         }
     }

     return 0;
 }

　　第3行, 使用accept方法得到一个新的SocketChannel。

　　7,8行，使用新的SocketChannel创建NioSocketChannel，并把它放到buf中。

　　11-20行，出现异常，关闭这个socket, 最后返回0.

　　

　　io.netty.channel.socket.nio.NioDatagramChannel#doReadMessages实现代码：

 @Override
 protected int doReadMessages(List<Object> buf) throws Exception {
     DatagramChannel ch = javaChannel();
     DatagramChannelConfig config = config();
     RecvByteBufAllocator.Handle allocHandle = this.allocHandle;
     if (allocHandle == null) {
         this.allocHandle = allocHandle = config.getRecvByteBufAllocator().newHandle();
     }
     ByteBuf data = allocHandle.allocate(config.getAllocator());
     boolean free = true;
     try {
         ByteBuffer nioData = data.internalNioBuffer(data.writerIndex(), data.writableBytes());
         int pos = nioData.position();
         InetSocketAddress remoteAddress = (InetSocketAddress) ch.receive(nioData);
         if (remoteAddress == null) {
             return 0;
         }

         int readBytes = nioData.position() - pos;
         data.writerIndex(data.writerIndex() + readBytes);
         allocHandle.record(readBytes);

         buf.add(new DatagramPacket(data, localAddress(), remoteAddress));
         free = false;
         return 1;
     } catch (Throwable cause) {
         PlatformDependent.throwException(cause);
         return -1;
     }  finally {
         if (free) {
             data.release();
         }
     }
 }

　　　4-12行，得到接收数据的缓冲区data。

　　   13-21行，从socket收到一个数据包，这个数据报包含两部分: data中的二进制数据和发送端的地址remoteAddress(第14行)。然后设置data中的数据长度。

　　　23-25行，把数据报转换成DatagramPacket类型放到buf中返回。

　　

　　io.netty.channel.nio.AbstractNioByteChannel.NioByteUnsafe#read实现：从channel中读byte流

　　这个实现的主要功能是调用doReadBytes读取byte流。doReadBytes是一个抽象方法，留给子类实现。下面是这个read的实现。

 @Override
 public final void read() {
     final ChannelConfig config = config();
     if (!config.isAutoRead() && !isReadPending()) {
         // ChannelConfig.setAutoRead(false) was called in the meantime
         removeReadOp();
         return;
     }

     final ChannelPipeline pipeline = pipeline();
     final ByteBufAllocator allocator = config.getAllocator();
     final int maxMessagesPerRead = config.getMaxMessagesPerRead();
     RecvByteBufAllocator.Handle allocHandle = this.allocHandle;
     if (allocHandle == null) {
         this.allocHandle = allocHandle = config.getRecvByteBufAllocator().newHandle();
     }

     ByteBuf byteBuf = null;
     int messages = 0;
     boolean close = false;
     try {
         int totalReadAmount = 0;
         boolean readPendingReset = false;
         do {
             byteBuf = allocHandle.allocate(allocator);
             int writable = byteBuf.writableBytes();
             int localReadAmount = doReadBytes(byteBuf);
             if (localReadAmount <= 0) {
                 // not was read release the buffer
                 byteBuf.release();
                 byteBuf = null;
                 close = localReadAmount < 0;
                 if (close) {
                     // There is nothing left to read as we received an EOF.
                     setReadPending(false);
                 }
                 break;
             }
             if (!readPendingReset) {
                 readPendingReset = true;
                 setReadPending(false);
             }
             pipeline.fireChannelRead(byteBuf);
             byteBuf = null;

             if (totalReadAmount >= Integer.MAX_VALUE - localReadAmount) {
                 // Avoid overflow.
                 totalReadAmount = Integer.MAX_VALUE;
                 break;
             }

             totalReadAmount += localReadAmount;

             // stop reading
             if (!config.isAutoRead()) {
                 break;
             }

             if (localReadAmount < writable) {
                 // Read less than what the buffer can hold,
                 // which might mean we drained the recv buffer completely.
                 break;
             }
         } while (++ messages < maxMessagesPerRead);

         pipeline.fireChannelReadComplete();
         allocHandle.record(totalReadAmount);

         if (close) {
             closeOnRead(pipeline);
             close = false;
         }
     } catch (Throwable t) {
         handleReadException(pipeline, byteBuf, t, close);
     } finally {
         // Check if there is a readPending which was not processed yet.
         // This could be for two reasons:
         // * The user called Channel.read() or ChannelHandlerContext.read() in channelRead(...) method
         // * The user called Channel.read() or ChannelHandlerContext.read() in channelReadComplete(...) method
         //
         // See https://github.com/netty/netty/issues/2254
         if (!config.isAutoRead() && !isReadPending()) {
             removeReadOp();
         }
     }
 }

　　10-16行，得到一个接受缓冲区的分配器和分配器的的专用handle。这两个东西的功能是高效的创建大量的接接收数据缓冲区，具体原理和实现会在后面buffer相关章节中详细分析，这里暂时略过。

　　24-64行，这是一个使用doReadBytes读取数据并触发channelRead事件的循环。25-27行，得到一个接受数据的缓冲区，然后从socket中读取数据。28-38行，没有数据可读了，或socket已经断开了。43行，正确收到了数据，触发channelRead事件。59-62行，读出的数据小于缓冲区的长度，表示没有socket中暂时没有数据可读了。 64行，读取次数大于上限配置，跳出。

　　66行，读循环完成，触发channelReadComplete事件。

　　69-72, 处理socket正常关闭。

　　74,83行，处理其他异常。

　　doReadBytes只有一个实现：

//io.netty.channel.socket.nio.NioSocketChannel#doWriteBytes
@Override
protected int doWriteBytes(ByteBuf buf) throws Exception {
    final int expectedWrittenBytes = buf.readableBytes();
    return buf.readBytes(javaChannel(), expectedWrittenBytes);
}

　　这个实现非常简单，使用ByteBuf的能力从SocketChannel中读取byte流。