Vitis-AI集成

Vitis-AI集成

Vitis-AI是Xilinx的开发堆栈，用于在Xilinx平台（包括边端设备和Alveo卡）上进行硬件加速的AI推理。它由优化的IP，工具，库，模型和示例设计组成。设计时考虑到了高效率和易用性，充分发挥了Xilinx FPGA和ACAP上AI加速的全部潜力。

TVM内部当前的Vitis-AI Byoc流可加速边端和云端的神经网络模型推理。支持的边端和云端深度学习处理器单元（DPU）的算子分别是DPUCZDX8G和DPUCADX8G。DPUCZDX8G和DPUCADX8G是 分别 在Xilinx Zynq Ultrascale + MPSocAlveo （U200 / U250）平台上用于卷积神经网络（CNN）的硬件加速器。有关DPU算子的更多信息，参见DPU命名信息部分。

会找到有关如何 使用Vitis-AI构建TVM以及如何开始使用示例的信息。

DPU命名信息

DPU深度学习处理单元

应用C: CNN R: RNN

硬件平台AD: Alveo DDR AH: Alveo HBM VD: Versal DDR with AIE & PL ZD: Zynq DDR

量化方法X: DECENT I: Integer threshold F: Float threshold R: RNN

量化位宽4: 4-bit 8: 8-bit 16: 16-bit M: Mixed Precision

设计目标G: General purpose H: High throughput L: Low latency C: Cost optimized

Build instructions说明

本节列出了使用Vitis-AI针对云端和Edge端构建TVM的说明。

云端（DPUCADX8G）

对于Vitis-AI，必须在Xilinx Alveo平台之上构建TVM。

系统要求

下表列出了运行docker容器和Alveo卡的系统要求。

硬件设置和Docker构建

• Clone Vitis AI存储库：
• 安装Docker，将用户添加到Docker组。将用户链接到以下Docker网站上的Docker安装说明：
  • https://docs.docker.com/install/linux/docker-ce/ubuntu/
  • https://docs.docker.com/install/linux/docker-ce/centos/
  • https://docs.docker.com/install/linux/linux-postinstall/
• 使用以下命令下载最新的Vitis AI Docker。该容器在CPU上运行。

·       git clone --recurse-submodules https://github.com/Xilinx/Vitis-AI

·       docker pull xilinx/vitis-ai:latest

为了加速量化，可以选择使用Vitis-AI GPU docker image映像。使用以下命令构建Vitis-AI GPU docker容器：

cd Vitis-AI/docker

./docker_build_gpu.sh

• 设置Vitis AI以定位Alveo卡。将带有Vitis AI的Alveo卡定位为机器学习工作负载，必须安装以下软件组件：
  • Xilinx运行时（XRT）
  • Alveo部署shell（DSA）
  • Xilinx资源管理器（XRM）（xbutler）
  • Xilinx Overlaybins（用于动态加载的加速器-二进制编程文件）
    • Xilinx Runtime (XRT)
    • Alveo Deployment Shells (DSAs)
    • Xilinx Resource Manager (XRM) (xbutler)
    • Xilinx Overlaybins (Accelerators to Dynamically Load - binary programming files)

可以单独安装所有这些软件组件，已提供了一个脚本来立即自动安装它们。为此：

• 运行以下命令：
• 重新启动系统。
• Clone tvm repo和pyxir repo
• 构建并启动tvm运行时Vitis-AI Docker容器。
• 安装PyXIR
• 使用Vitis-AI在容器内构建TVM
• 安装TVM

·       cd Vitis-AI/alveo/packages

·       sudo su

·       ./install.sh

·       git clone --recursive https://github.com/apache/tvm.git

·       git clone --recursive https://github.com/Xilinx/pyxir.git

·       ./tvm/docker/build.sh demo_vitis_ai bash

·       ./tvm/docker/bash.sh tvm.demo_vitis_ai

·        

·       #Setup inside container

·       source /opt/xilinx/xrt/setup.sh

·       . $VAI_ROOT/conda/etc/profile.d/conda.sh

·       conda activate vitis-ai-tensorflow

·       cd pyxir

·       python3 setup.py install --use_vai_rt_dpucadx8g --user

·       cd tvm

·       mkdir build

·       cp cmake/config.cmake build

·       cd build

·       echo set\(USE_LLVM ON\) >> config.cmake

·       echo set\(USE_VITIS_AI ON\) >> config.cmake

·       cmake ..

·       make -j$(nproc)

·       cd tvm/python

·       pip3 install -e . --user

边端（DPUCZDX8G）

对于边端部署，使用主机和边端的两个系统。该主机系统在第一离线步长负责量化和神经网络模型的编辑。之后，该模型将在端系统上部署 。

主机要求

下表列出了运行TVM-Vitis-AI docker容器的系统要求。

主机设置和Docker构建

• Clone tvm repo
• 构建并启动tvm运行时Vitis-AI Docker容器。
• 安装PyXIR
• 使用Vitis-AI在容器内构建TVM。
• 安装TVM

·       git clone --recursive https://github.com/apache/tvm.git

·       cd tvm

·       ./tvm/docker/build.sh demo_vitis_ai bash

·       ./tvm/docker/bash.sh tvm.demo_vitis_ai

·        

·       #Setup inside container

·       . $VAI_ROOT/conda/etc/profile.d/conda.sh

·       conda activate vitis-ai-tensorflow

·       git clone --recursive https://github.com/Xilinx/pyxir.git

·       cd pyxir

·       python3 setup.py install --user

·       cd tvm

·       mkdir build

·       cp cmake/config.cmake build

·       cd build

·       echo set\(USE_LLVM ON\) >> config.cmake

·       echo set\(USE_VITIS_AI ON\) >> config.cmake

·       cmake ..

·       make -j$(nproc)

·       cd tvm/python

·       pip3 install -e . --user

边端要求

DPUCZDX8G可以部署在Zynq Ultrascale + MPSoc 平台上。可以直接使用以下开发板：

边端硬件设置

本节提供了使用Pynq平台进行设置的说明，也支持基于Petalinux的流程。

• 下载适用于目标的Pynq v2.5映像（根据板卡版本，将Z1或Z2用于Ultra96目标）链接至映像：https : //github.com/Xilinx/PYNQ/releases/tag/v2.5
• 遵循Pynq的说明来设置电路板：pynq设置
• 连接到开发板后，确保以root用户身份运行。执行 su
• 请按照以下步骤在Pynq上设置DPU：DPU Pynq setup
• 运行以下命令下载DPU比特流：
• 检查DPU内核是否处于活动状态：

·       python3 -c 'from pynq_dpu import DpuOverlay ; overlay = DpuOverlay("dpu.bit")'

·       dexplorer -w

Edge TVM设置

当在Petalinux而不是Pynq上工作时，以下步骤可能需要更多的手动工作（例如，从源代码构建hdf5）。而且，TVM具有scipy依赖性，从源代码或规避的角度构建。在流程中不依赖scipy。

构建TVM取决于Xilinx PyXIR软件包。PyXIR充当TVM和Vitis-AI工具之间的接口。

• 首先安装PyXIR h5py和pydot依赖项：
• 安装PyXIR
• 用Vitis-AI构建TVM
• 安装TVM
• 检查在Python Shell中安装是否成功：

·       apt-get install libhdf5-dev

·       pip3 install pydot h5py

·       git clone --recursive https://github.com/Xilinx/pyxir.git

·       cd pyxir

·       sudo python3 setup.py install --use_vai_rt_dpuczdx8g

·       git clone --recursive https://github.com/apache/tvm

·       cd tvm

·       mkdir build

·       cp cmake/config.cmake build

·       cd build

·       echo set\(USE_VITIS_AI ON\) >> config.cmake

·       cmake ..

·       make

·       cd tvm/python

·       pip3 install -e . --user

·       python3 -c 'import pyxir; import tvm'

开始

本节说明如何将TVM与Vitis-AI一起使用。为此，要了解为定点算术中的Vitis-AI实现，对神经网络模型进行了量化。这里采用的方法是使用前N个输入on-the-fly动态量化，如下一节所述。

即时量化

通常，为了能够使用Vitis-AI DPU加速器加速神经网络模型的推理，这些模型需要预先量化。在TVM-Vitis-AI流程中，利用即时量化来删除此额外的预处理步骤。在此流程中，无需预先量化模型，可以使用典型的推理执行调用（module.run），使用提供的前N个输入来实时量化模型。将设置并校准Vitis-AI DPU，此后，将加快所有下一个输入的推理。注意，边端流与所说明的流略有不同，因为在前N个输入之后，推理不会加速，但是模型已经过量化和编译，可以移至边端设备进行部署。有关更多信息，请参见下面的边端使用说明。

配置/设置

可以使用几个环境变量来自定义Vitis-AI Byoc流。

Environment Variable：PX_QUANT_SIZE，PX_BUILD_DIR

Default if unset：128，Use the on-the-fly quantization flow

Explanation：The number of inputs that will be used for quantization (necessary for Vitis-AI acceleration)，Loads the quantization and compilation information from the provided build directory and immediately starts Vitis-AI hardware acceleration. This configuration can be used if the model has been executed before using on-the-fly quantization during which the quantization and comilation information was cached in a build directory.

云端使用

本节介绍了如何在云端上使用Vitis-AI加速TVM中的卷积神经网络模型。

为了能够定位Vitis-AI云DPUCADX8G目标，首先必须将目标导入PyXIR。此PyXIR软件包是TVM用来与Vitis-AI堆栈集成的接口。另外，将典型的TVM和Relay模块以及Vitis-AI contrib模块导入TVM内。

import pyxir

import pyxir.contrib.target.DPUCADX8G

import tvm

import tvm.relay as relay

from tvm.contrib.target import vitis_ai

from tvm.contrib import util, graph_runtime

from tvm.relay.build_module import bind_params_by_name

from tvm.relay.op.contrib.vitis_ai import annotation

使用常用的Relay API导入卷积神经网络模型后，为给定的Vitis-AI DPU目标标记Relay表达式并划分图。

mod["main"] = bind_params_by_name(mod["main"], params)

mod = annotation(mod, params, target)

mod = relay.transform.MergeCompilerRegions()(mod)

mod = relay.transform.PartitionGraph()(mod)

现在，可以构建TVM运行时runtime库来执行模型。TVM目标为“ llvm”，因为DPU无法处理的算子在CPU上执行。Vitis-AI目标是DPUCADX8G，因为目标是云DPU，并且该目标作为配置传递给TVM构建调用。

tvm_target = 'llvm'

target='DPUCADX8G'

with tvm.transform.PassContext(opt_level=3, config= {'relay.ext.vitis_ai.options.target': target}):

   lib = relay.build(mod, tvm_target, params=params)

在用TVM中的Vitis-AI加速模型之前，又需要迈出一步，必须对模型进行量化和编译，以便在DPU上执行。为此，利用了即时量化。使用此方法，无需预先量化其模型，而可以使用典型的推理执行调用（module.run）使用提供的前N个输入来即时校准模型。在前N次迭代之后，将在DPU上加速计算。现在将N个输入馈入TVM运行时模块。注意，这些前N个输入将花费大量时间。

module = graph_runtime.GraphModule(lib["default"](tvm.cpu()))

# First N (default = 128) inputs are used for quantization calibration and will

# be executed on the CPU

# This config can be changed by setting the 'PX_QUANT_SIZE' (e.g. export PX_QUANT_SIZE=64)

for i in range(128):

   module.set_input(input_name, inputs[i])

   module.run()

之后，将在DPU上加速推理。

module.set_input(name, data)

module.run()

要保存和加载已构建的模块，可以使用典型的TVM API：

lib_path = "deploy_lib.so"

lib.export_library(lib_path)

从编译文件中加载模块并运行推理

# load the module into memory

loaded_lib = tvm.runtime.load_module(lib_path)

module = graph_runtime.GraphModule(lib["default"](tvm.cpu()))

module.set_input(name, data)

module.run()

边端使用

本节说明如何在边端以Vitis-AI加速TVM中的卷积神经网络模型。前几步将必须在主机上运行，​​并要进行量化和编译，以便在边端进行部署。

Host步骤

为了能够定位Vitis-AI云DPUCZDX8G目标，首先必须将目标导入PyXIR。此PyXIR软件包是TVM用来与Vitis-AI堆栈集成的接口。另外，将典型的TVM和Relay模块以及Vitis-AI contrib模块导入TVM内。

import pyxir

import pyxir.contrib.target.DPUCZDX8G

import tvm

import tvm.relay as relay

from tvm.contrib.target import vitis_ai

from tvm.contrib import util, graph_runtime

from tvm.relay.build_module import bind_params_by_name

from tvm.relay.op.contrib.vitis_ai import annotation

使用常用的Relay API导入卷积神经网络模型后，为给定的Vitis-AI DPU目标标注Relay表达式并划分图。

mod["main"] = bind_params_by_name(mod["main"], params)

mod = annotation(mod, params, target)

mod = relay.transform.MergeCompilerRegions()(mod)

mod = relay.transform.PartitionGraph()(mod)

现在，可以构建TVM运行时runtime库来执行模型。TVM目标为“ llvm”，因为DPU无法处理的操作在CPU上执行。此时，这意味着主机上的CPU。Vitis-AI目标是DPUCZDX8G-zcu104，因为目标是ZCU104板上的边端DPU，该目标作为配置传递给TVM构建调用。注意，可以为不同的目标传递不同的算子，请参阅边端目标信息。此外，提供了“ export_runtime_module”配置，该配置指向可以将Vitis-AI运行时runtime模块导出到的文件。这样做，因为在构建用于边端部署的模型之前，将首先在主机上编译和量化模型。稍后，导出的运行时runtime模块将传递到边端版本，以便可以包含Vitis-AI运行时runtime模块。

from tvm.contrib import util

temp = util.tempdir()

tvm_target = 'llvm'

target='DPUCZDX8G-zcu104'

export_rt_mod_file = temp.relpath("vitis_ai.rtmod")

with tvm.transform.PassContext(opt_level=3, config= {'relay.ext.vitis_ai.options.target': target,

'relay.ext.vitis_ai.options.export_runtime_module': export_rt_mod_file}):

lib = relay.build(mod, tvm_target, params=params)

将使用主机上的实时量化对模型进行量化和编译，以便在DPU上执行。利用TVM推理调用（module.run）来量化具有前N个输入的主机上的模型。

module = graph_runtime.GraphModule(lib["default"](tvm.cpu()))

# First N (default = 128) inputs are used for quantization calibration and will

# be executed on the CPU

# This config can be changed by setting the 'PX_QUANT_SIZE' (e.g. export PX_QUANT_SIZE=64)

for i in range(128):

   module.set_input(input_name, inputs[i])

   module.run()

保存TVM lib模块，以便Vitis-AI运行时runtime模块也将被导出（到先前作为配置传递的“ export_runtime_module”路径）。

from tvm.contrib import util

temp = util.tempdir()

lib.export_library(temp.relpath("tvm_lib.so"))

在使用前N个输入对Vitis-AI加速模型进行量化和编译之后，可以构建模型以在ARM边端设备上执行。在这里，传递了以前导出的Vitis-AI运行时模块，因此可以将其包含在TVM版本中。

# Export lib for aarch64 target

tvm_target = tvm.target.arm_cpu('ultra96')

lib_kwargs = {

     'fcompile': contrib.cc.create_shared,

     'cc': "/usr/aarch64-linux-gnu/bin/ld"

}

with tvm.transform.PassContext(opt_level=3,

                               config={'relay.ext.vitis_ai.options.load_runtime_module': export_rt_mod_file}):

     lib_arm = relay.build(mod, tvm_target, params=params)

lib_dpuv2.export_library('tvm_dpu_arm.so', **lib_kwargs)

现在，将TVM构建文件（tvm_dpu_arm.json，tvm_dpu_arm.so，tvm_dpu_arm.params）移动到边端设备。有关设置边端设备的信息，请查看边端设置 部分。

边端步长

在边端设备上使用Vitis-AI设置TVM之后，可以将TVM运行时模块加载到内存中，并提供输入以进行推理。

ctx = tvm.cpu()

# load the module into memory

lib = tvm.runtime.load_module("tvm_dpu_arm.so")

module = graph_runtime.GraphModule(lib["default"](tvm.cpu()))

module.set_input(name, data)

module.run()

https://tvm.apache.org/docs/deploy/vitis_ai.html