1 KQUEUE KeInitializeQueue

VOID

KeInitializeQueue(

IN PKQUEUE  Queue,

IN ULONG  Count  OPTIONAL

);

lkd> dt _KQUEUE

nt!_KQUEUE

+0x000 Header           : _DISPATCHER_HEADER

+0x010 EntryListHead    : _LIST_ENTRY

+0x018 CurrentCount     : Uint4B

+0x01c MaximumCount     : Uint4B

+0x020 ThreadListHead   : _LIST_ENTRY

KeInitializeQueue初始化Queue对象,线程可以等待访问队列中的元素,Count 表示同时可以访问队列的线程数(不需要等待),一般使用KQUEUE的时候也会创建对应数量的线程来queue and dequeue its entries

2 KQUEUE KeInsertQueue

LONG

KeInsertQueue(

IN PKQUEUE  Queue,

IN PLIST_ENTRY  Entry

);

如果当前线程的不是处于queue wait状态,或者等待的QUEUE不是要插入的这个QUEUE,并且有其它线程在等待KQUEUE(调用KeRemoveQueue),活跃的线程小于最大的活跃线程,则会唤醒等待KQUEUE的线程来取本次要插入的Entry,否则把Entry插入到Queue的尾部.

3 CreateIoCompletionPort - ExistingCompletionPort为NULL的情况

HANDLE WINAPI CreateIoCompletionPort(

__in          HANDLE FileHandle,

__in          HANDLE ExistingCompletionPort,

__in          ULONG_PTR CompletionKey,

__in          DWORD NumberOfConcurrentThreads

);

内部创建一个完成端口对象,对象开始是一个_KQUEUE对象,然后调用KeInitializeQueue初始化这个KQUEUE,然后返回这个对象的句柄。如果FileHandle不为NULL,则调用NtSetInformationFile把FileHandle和完成端口进行绑定关联

CompletionInfo.Port = ExistingCompletionPort;

CompletionInfo.Key = (void *)CompletionKey;

NtSetInformationFile(FileHandle, &IoSb, &CompletionInfo, 8, FileCompletionInformation);

关于NtSetInformationFile内部的实现,先看FILE_OBJECT对象

lkd> dt _FILE_OBJECT

nt!_FILE_OBJECT

...

+0x06c CompletionContext : Ptr32 _IO_COMPLETION_CONTEXT

lkd> dt  _IO_COMPLETION_CONTEXT

nt!_IO_COMPLETION_CONTEXT

+0x000 Port             : Ptr32 Void

+0x004 Key              : Ptr32 Void

也就是说内部先分配一个IO_COMPLETION_CONTEXT结构体,然后根据CompletionInfo里面的Port句柄获得Port对象,然后填充这个结构体,最后把这个结构体的指针放到FileHandle对应的文件对象的CompletionContext里面。一个CompletionPort可以关联多个FileHandle,可以通过CompletionKey来标识具体的FileHandle

4 PostQueuedCompletionStatus

BOOL WINAPI PostQueuedCompletionStatus(

__in          HANDLE CompletionPort,

__in          DWORD dwNumberOfBytesTransferred,

__in          ULONG_PTR dwCompletionKey,

__in          LPOVERLAPPED lpOverlapped //这里只是个指针,不一定非要指向OVERLAPPED结构体

);

往CompletionPort投递一个I/O completion packet,包含dwNumberOfBytesTransferred, dwCompletionKey和lpOverlapped.

PostQueuedCompletionStatus内部调用NtSetIoCompletion来实现具体的功能

NTSTATUS

NtSetIoCompletion (

__in HANDLE IoCompletionHandle, //CompletionPort

__in PVOID KeyContext,     //dwCompletionKey

__in_opt PVOID ApcContext,      //为0

__in NTSTATUS IoStatus,     //lpOverlapped

__in ULONG_PTR IoStatusInformation //dwNumberOfBytesTransferred

)

NtSetIoCompletion内部大概实现如下

IoCompletionHandle获得完成端口对象IoCompletion,分配一个结构体_IOP_MINI_COMPLETION_PACKET MiniPacket,根据NtSetIoCompletion传进的参数初始化MiniPacket,调用KeInsertQueue((PKQUEUE)IoCompletion, &MiniPacket->ListEntry);插入到完成端口对象的KQUEUE里面_IOP_MINI_COMPLETION_PACKETL里面的PacketType表示类型,比如IopCompletionPacketIrp表示是IRP IO完成时投递的,在NtRemoveIoCompletion里面会跟进这个字段来区分数据

5 GetQueuedCompletionStatus

BOOL WINAPI GetQueuedCompletionStatus(

__in          HANDLE CompletionPort,

__out         LPDWORD lpNumberOfBytes,

__out         PULONG_PTR lpCompletionKey,

__out         LPOVERLAPPED* lpOverlapped,

__in          DWORD dwMilliseconds

);

内部只是简单的调用NtRemoveIoCompletion

NTSTATUS

NtRemoveIoCompletion (

__in HANDLE IoCompletionHandle,

__out PVOID *KeyContext,

__out PVOID *ApcContext,

__out PIO_STATUS_BLOCK IoStatusBlock,

__in_opt PLARGE_INTEGER Timeout

)

如果是IO

ApcContext = Irp->Overlay.AsynchronousParameters.UserApcContext;

KeyContext = (PVOID)Irp->Tail.CompletionKey;

IoStatusBlock = Irp->IoStatus;

6 完成端口跟FileHandle的内部逻辑

当一次IO完成时,会调用IopCompleteRequest,IopCompleteRequest内部有这一处逻辑

if (fileObject && fileObject->CompletionContext) {

port = fileObject->CompletionContext->Port;

key = fileObject->CompletionContext->Key;

}

irp->Tail.CompletionKey = key;

irp->Tail.Overlay.PacketType = IopCompletionPacketIrp;

KeInsertQueue( (PKQUEUE) port,

&irp->Tail.Overlay.ListEntry );

也就是说,每一次IO完成时,都会向完成端口投递相关信息

7  BindIoCompletionCallback

BOOL WINAPI BindIoCompletionCallback(

__in          HANDLE FileHandle,

__in          LPOVERLAPPED_COMPLETION_ROUTINE Function,

ULONG Flags //没用

);

微软内部帮你封装好了IO 完成端口的调用,线程池,在文件操作完成时会调用Function

BindIoCompletionCallback内部实现

Status = RtlSetIoCompletionCallback(FileHandle,

(PIO_APC_ROUTINE)Function,

Flags);

RtlSetIoCompletionCallback内部只是把Function当做一个CompletionKey,调用 NtSetInformationFile(FileHandle, &IoSb, &CompletionInfo, 8, FileCompletionInformation); 把Function和文件句柄进行绑定,下次有IO完成时,线程池里面的线程调用ZwRemoveIoCompletion就可以获得CompletionKey,然后进行调用

VOID CALLBACK FileIOCompletionRoutine(

[in]                 DWORD dwErrorCode,  //

[in]                 DWORD dwNumberOfBytesTransfered,

[in]                 LPOVERLAPPED lpOverlapped //ApcContext = Irp->Overlay.AsynchronousParameters.UserApcContext;

);

那Irp->Overlay.AsynchronousParameters.UserApcContext从哪来的,在NtReadFile, NtWriteFile里面会设置

NTSTATUS

NtReadFile (

__in HANDLE FileHandle,

__in_opt HANDLE Event,

__in_opt PIO_APC_ROUTINE ApcRoutine,

__in_opt PVOID ApcContext,

__out PIO_STATUS_BLOCK IoStatusBlock,

__out_bcount(Length) PVOID Buffer,

__in ULONG Length,

__in_opt PLARGE_INTEGER ByteOffset,

__in_opt PULONG Key

)

irp->Overlay.AsynchronousParameters.UserApcContext = ApcContext;

对应的就是ReadFile里面的lpOverlapped

BOOL WINAPI ReadFile(

__in          HANDLE hFile,

__out         LPVOID lpBuffer,

__in          DWORD nNumberOfBytesToRead,

__out         LPDWORD lpNumberOfBytesRead,

__in          LPOVERLAPPED lpOverlapped

);

8 APC和完成端口

如果绑定了完成端口,那APC是不能干活的,在NtReadFile, NtWriteFile里面会这么判断

if (fileObject->CompletionContext && IopApcRoutinePresent( ApcRoutine )) {

ObDereferenceObject( fileObject );

return STATUS_INVALID_PARAMETER;

}

也就是意味着绑定了完成端口以后,你不能使用ReadFileEx传入回调

异步机制 - IO完成端口的更多相关文章

  1. windows核心编程---第九章 同步设备IO与异步设备IO之同步IO

    同步设备IO 所谓同步IO是指线程在发起IO请求后会被挂起,IO完成后继续执行. 异步IO是指:线程发起IO请求后并不会挂起而是继续执行.IO完毕后会得到设备的通知.而IO完成端口就是实现这种通知的很 ...

  2. 异步设备IO OVERLAPPED结构(设备内核对象 事件内核对象 可提醒IO)

    同步IO是指:线程在发起IO请求后会被挂起,IO完成后继续执行. 异步IO是指:线程发起IO请求后并不会挂起而是继续执行.IO完毕后会得到设备驱动程序的通知. 一.异步准备与OVERLAPPED结构 ...

  3. 《Windows核心编程系列》九谈谈同步设备IO与异步设备IO之同步设备IO

    同步设备IO 所谓同步IO是指线程在发起IO请求后会被挂起,IO完成后继续执行. 异步IO是指:线程发起IO请求后并不会挂起而是继续执行.IO完毕后会得到设备的通知.而IO完成端口就是实现这种通知的很 ...

  4. IO完成端口

    从MSDN中翻译了IO完成端口的文章,不得不说翻译的很烂,英语需要继续提高啊... 在一个多处理器系统上,IO完成端口提供一个非常高效的线程模型来处理多个异步IO请求.当一个进程创建了一个IO完成端口 ...

  5. 【windows核心编程】IO完成端口(IOCP)复制文件小例前简单说明

    1.关于IOCP IOCP即IO完成端口,是一种高伸缩高效率的异步IO方式,一个设备或文件与一个IO完成端口相关联,当文件或设备的异步IO操作完成的时候,去IO完成端口的[完成队列]取一项,根据完成键 ...

  6. 异步设备IO:OVERLAPPED和IOCompletionPort

    异步设备IO:OVERLAPPED和IOCompletionPort 本文内容为<windows核心编程>第10章内容的总结,仅记录一些本人感兴趣的内容. 1:OVERLAPPED &qu ...

  7. Windows核心编程:第10章 同步设备IO与异步设备IO

    Github https://github.com/gongluck/Windows-Core-Program.git //第10章 同步设备IO与异步设备IO.cpp: 定义应用程序的入口点. // ...

  8. 《Windows核心编程系列》十谈谈同步设备IO与异步设备IO之异步IO

    同步设备IO与异步设备IO之异步IO介绍 设备IO与cpu速度甚至是内存访问相比较都是比较慢的,而且更不可预测.虽然如此,通过使用异步设备IO我们仍然能够创造出更高效的程序. 同步IO时,发出IO请求 ...

  9. 什么是阻塞、非阻塞、同步和异步以及IO模型

    首先先看如下几个问题,或者说我们经常会遇到的问题. 阻塞是否等于同步?非阻塞是否等于异步?同步一定是阻塞的么?异步一定是非阻塞的么?要把这四个概念讲明白,先从一顿简餐说起.假设你要做一顿便饭:烧土豆: ...

随机推荐

  1. meta标签常见浏览器设置

    一.如何让双核浏览器默认选择 WebKit 内核渲染自己开发的网页 我们可以使用标签来指定适合自己网站的渲染内核名称,当双核浏览器访问本网页时,就会根据我们的指示,选择我们指定的渲染内核来处理网页.若 ...

  2. FlowPortal BPM 明细表中新添加的行一直排在最后的问题

    明细表中的数据提交过之后再编辑时,添加的行不管在第几行添加都显示在最后一行的问题 Solution:明细表的数据库表中加字段OrderIndex,设为必填,系统会自动排序

  3. h5 移动端开发自适应 meta name="viewport"的使用总结

    本文系个人理解,可能有误差,仅供参考,谨慎采纳! 布局视口: 系统自带 一般大于屏幕宽度 理想宽度:  设置页面的viewport 的一个宽度,使不同的手机的布局视口宽度尽量接近可视窗口的值: 可视视 ...

  4. 开发六年mybatisplus使用小结

    最近在项目里用到了一个第三方库,叫mybatisplus,是一个mybatis的增强库,简单来说就是增强了mybatis的功能,让mybatis更好用,mybatisplus给的官方定义是Mybati ...

  5. Vue.js面试题整理(转载)

    一.什么是MVVM? MVVM是Model-View-ViewModel的缩写.MVVM是一种设计思想.Model 层代表数据模型,也可以在Model中定义数据修改和操作的业务逻辑:View 代表UI ...

  6. golang的select实现原理剖析

    写在最前面 select为golang提供了多路IO复用机制,和其他IO复用一样,用于检测是否有读写事件是否ready. 本文将介绍一下golang的select的用法和实现原理. 实现原理 gola ...

  7. Bind Mounts and File System Mount Order

         When you use the bind option of the mount command, you must be sure that the file systems are m ...

  8. Python查看模块函数,查看函数方法的详细信息

    Python查看方法的详情 1.通用的帮助函数help() 使用help()函数来查看函数的帮助信息. 如: import requests help(requests) 会有类似如下输出: 2.查询 ...

  9. ubuntu python3虚拟环境

    mkvirtualenv flow_chart -p /usr/bin/python3.6 #  命令    环境名    -p   python所在路径 pip install -r request ...

  10. RT-Thread--时间管理

    时钟节拍 时钟节拍是特定的周期中断,可以看是系统心跳,中断之间的时间间隔取决于不同的应用,一般是 1ms–100ms,时钟节拍率越快,系统的额外开销就越大,从系统启动开始计数的时钟节拍数称为系统时间. ...