iscsi target IET架构

IET（iSCSI Enterprise Target）是内核态实现的iscsi target，相比于用户态实现的target（比如tgt），iet比较稳定，并且也算是历史悠久，io都直接经过内核态，性能比较好。本文主要针对IET的程序架构，从程序模块，命令操作处理流程，initiator与target的交互，I/O处理流程进行分析。

1.程序模块

IET包含3部分：ietadm，ietd，iscsi_trgt，其中ietadm是命令行工具，提供target，lun的创建、删除、参数设置等操作；而ietd是一个用户态程序，用于和ietadm以及initiator的交互，并进行对应的处理，iscsi相关的发现、登录、认证、登出等操作都在用户态实现；iscsi_trgt是一个内核模块，iscsi协议的解析处理，I/O处理都在这个内核态模块内完成。

1）ietdadm与ietd通过IPC进行交互，IPC在ietd程序启动的时候进行初始化；
2）ietd启动的时候还会创建监听socket（默认的端口是3260，并且会为该机器上的每个ip都生成一个监听socket，initiator在发现target的时候会指定ip和port），initiator就通过socket与ietd进行交互，一个initiator和一个target建立起一个长连接（iscsi协议标准说的是至少1个连接），后续的I/O都是通过这个连接进行交互；
3）ietd与iscsi_trgt使用ioctl进行交互，一些操作（比如创建删除target，创建删除lun等）都由ietd在用户态进行处理后，将命令通过ioctl发到iscsi_trgt，然后iscsi_trgt在内核态下进行相关处理；

2.initiator与iet的交互

initiator向ietd发起请求，ietd根据请求的类型进行相关处理，在ietd进程主要进行的是discovery、login、auth、logout等登录认证的操作，有需要的情况下ietd会将命令发到iscsi_trgt进行处理。这里以iscsi login为例来简单分析处理流程。

如图所示，initiator发起login请求到ietd，ietd收到login请求，初始化连接信息（conn），并进行login的对应处理，然后初始化session，完成后，ietd使用ioctl通过iscsi_trgt在内核态去创建session，完成后返回给ietd，然后ietd返回给initiator响应信息；之后ietd通知iscsi_trgt接管fd，iscsi_trgt就会在内核初始化连接（conn），这个连接直接与用户态ietd使用的那个fd关联，直接使用了这个fd对应的内核sock，后续initiator端的I/O就直接通过这个内核sock与iscsi_trgt进行交互。

3.I/O处理

在介绍I/O处理流程之前，先要了解一下每个target所对应的内核线程。

在创建target的时候，iscsi_trgt内核模块就会为这个target分配一个网络线程nthread（名字叫istd，比如target id是1000，那么ps的时候就可以看到“istd1000”这样的进程），并且会分配若干个工作线程wthread（名字叫istiod），默认是8个，可以通过参数配置的。网络线程会进行iscsi协议的解析处理，处理完成后放入工作队列（work_queue），并且唤醒工作线程，多个工作线程共用这个work_queue，从work_queue里取cmnd来进行对应的处理。

如图所示，在initiator端对iscsi设备进行io读写的时候经过文件系统、块设备到SCSI子系统，最后由SCSI low layer里的iscsi_tcp模块通过网络发送I/O请求到iscsi_trgt，iscsi_trgt里对应的target的连接的sock收到请求，回唤醒对应target的nthread，然后nthread进行协议的解析，处理完后将cmnd放到工作队列work_queue，并且唤醒wthread，wthread从队列里取cmnd，然后根据请求类型进行对应的处理（具体是在target_disk.c里的disk_execute_cmnd，包括INQUIRY、REPORT_LUNS、READ_CAPACITY、MODE_SENSE、READ_6/READ_10/READ_16、WRITE_6/WRITE_10/WRITE_16、SYNCHRONIZE_CACHE等对应请求的处理），比如读写处理，会走到后端存储类型（nullio，blockio，fileio）的具体处理流程：就是通过make_request指向到对应的request处理函数，比如blockio里的blockio_make_request，然后构造bio，调用submit_bio下发到底层磁盘设备进行处理；如果是fileio，就是调用vfs_read/vfs_write进行处理，I/O完成后，构造iscsi response放到到write_list（也是每个连接一个write_list，也就是说不同target不一样），唤醒nthread来进行iscsi response的相关处理，最后通过sock将相应发到initiator端的设备。