PCIe调试心得_DMA part3

作者： East  FPGA那点事儿

上一章讲述了PCIe总线如何提高DMA的效率。

本章以服务器常用的4通道1000M以太网卡为例讲述如何实现多个虚拟DMA通道。

1.多通道DMA发

4通道以太网卡的数据相互独立，需要4个虚拟DMA发通道实现4路数据独立传输。4个虚拟DMA发通道如下：

多通道DMA发比较简单，因为TLP包中已经包含了具体的物理地址，4个虚拟通道可以向4个不同的物理内存位置写数据。所以DMA发逻辑与单通道DMA发逻辑没有什么不同，关键点在增加的总线仲裁逻辑。

4个网口都有数据要进行DMA发，发起TLP写请求，需要占用PCIe总线；4个网口还要进行DMA收，发起TLD读请求；主机的BAR读操作要占用PCIe总线。但是PCIe总线只有1个逻辑通道（即使PCIe总线物理层为x4或更高宽度，但逻辑通道数是1），所以各通道必须分时复用PCIe总线。

总线仲裁逻辑正是进行分时复用调度的功能。各种数据包有各自的特点：BAR读操作较少，为了提高上位机的处理效率，一般希望BAR读操尽快完成；TLP写请求包较大，会占用较长的总线时间；TLP读请求包小，但是包数量多，占用的总线带宽不可忽视。

所以总线仲裁逻辑可以设置优先级：仲裁逻辑以TLP包为单位，总线采用抢占式调度，即必须一个TLP包传输完成再判断下次给哪个通道使用总线；高优先级的通道可以优先占用PCIe总线，直到TLP包传输完成后才能给低优先级的通道使用；相同优先级的通道采用轮询方式调度，这样每个通道占用总线的机会相同。

一般会将BAR读放在最高优先级，这样可以让FPGA以最快的速度响应，减少上位机等待时间；在本案例中4个DMA发通道和4个DMA收通道需要相同的优先级，放在第二优先级。在一些特殊的应用中也可以将各DMA通道放在不同的优先级，实现重要数据优先传输，普通数据空闲时传输的功能。

2.多通道DMA收

DMA收的过程本身就比DMA发复杂，需要FPGA先发起读请求，主机再返回数据才能完成DMA收的过程。4个虚拟DMA收通道框图如下：

多个DMA收通道可以对多个内存地址就行读操作。多通道DMA收逻辑发起TLP读请求的方式与单通道DMA读相同。读请求也要通过总线仲裁逻辑分时复用PCIe总线。

这里增加了数据判别逻辑。DMA发的过程只需要FPGA发起TLP写请求，请求中已经包含了物理地址，不会引起数据错乱；而DMA收的过程中，FPGA发起TLP读请求包含了物理地址，但是主机返回的CPLD包中只有低6bit物理地址，不能通过物理地址判断是哪一个通道的数据包。所以需要在TLP读请求包中对每一个虚拟通道做上特殊标记，这样才能分辨主机返回的CPLD包是哪个通道读请求返回的数据包。

转载：http://xilinx.eetrend.com/blog/9836