构建编译TVM方法

构建编译TVM方法

本文提供如何在各种系统上构建和安装TVM包的说明。它包括两个步骤：

1. 1.     首先从C代码构建共享库( libtvm.so for linux, libtvm.dylib for macOS and libtvm.dll for windows）。
2. 2.     语言包的设置（例如Python包）。

TVM源码下载链接

https://github.com/apache/tvm/

Developers: Get Source from Github

You can also choose to clone the source repo from github. It is important to clone the submodules along, with --recursive option.

可以选择从github中repo克隆源。克隆子模块很重要，--recursive选项

git clone --recursive https://github.com/apache/tvm tvm

For windows users who use github tools, you can open the git shell, and type the following command.

对于使用github工具的windows用户，可以打开git shell，然后键入以下命令。

git submodule init

git submodule update

Build the Shared Library

目标是建立共享库：

• On Linux the target library are libtvm.so
• On macOS the target library are libtvm.dylib
• On Windows the target library are libtvm.dll

sudo apt-get update

sudo apt-get install -y python3 python3-dev python3-setuptools gcc libtinfo-dev zlib1g-dev build-essential cmake libedit-dev libxml2-dev

最低building要求是

• ·        支持c14（g-5或更高版本）的最新c++编译器
• ·        CMake 3.5或更高
• ·        强烈建议使用LLVM构建，启用所有功能。

如果要使用CUDA，需要CUDA toolkit version >= 8.0。如果从老版本更新，确信删除了老版本，并且需要安装后reboot重启。

• 在macOS上，可能需要安装Homebrew https://brew.sh，管理依赖项。

使用cmake来构建库，TVM的配置可以通过以下config.cmake方式进行。

• ·        检查系统中的cmake。如果没有cmake，可以从官方网站找最新版本
• ·        创建一个构建目录，复制cmake/config.cmake到目录
• mkdir build
• cp cmake/config.cmake build
• cd build
• cmake ..
• make -j4
• You can also use Ninja build system instead of Unix Makefiles. It can be faster to build than using Makefiles.
• cd build
• cmake .. -G Ninja
• ninja

• 编辑build/config.cmake自定义编译选项
• 在macOS上，对于某些版本的Xcode，需要添加-lc++abi否则会出现链接错误
• 改变set(USE_CUDA OFF)到 设置（使用_CUDA开）启用CUDA后端。对其它后端和库执行相同的操作（OpenCL、RCOM、METAL、VULKAN…）。
• 若要帮助调试，确保使用启用了set(USE_GRAPH_EXECUTOR ON)和设置（使用_PROFILER开）嵌入式图形执行器和调试函数。
• TVM需要LLVM用于CPU codegen。强烈建议构建LLVM支持。
• 使用LLVM构建需要LLVM 4.0或更高版本。注意，默认apt的LLVM版本可能低于4.0。
• 由于LLVM从源代码构建需要很长时间，所以可以从LLVM下载页面https://apt.llvm.org/ .
• 解压缩到某个位置，修改build/config.cmake添加 set(USE_LLVM /path/to/your/llvm/bin/llvm-config)
• 也可以直接设置set(USE_LLVM ON)，让cmake搜索LLVM的可用版本。
• 也可以使用LLVM预编译Ubuntu构建https://releases.llvm.org/download.html
• 注意apt包appendllvm-config带版本编号。用于示例，集合 set(USE_LLVM llvm-config-10)，如果安装了LLVM 10包。
• 然后可以建立tvm和相关的库。

If everything goes well, we can go to Python Package Installation

Building with a Conda Environment

Conda是获取运行TVM所需依赖项的一种非常方便的方法。ollow the conda’s installation guide，如果系统中还没有conda，安装miniconda或anaconda。在conda环境中运行以下命令：

# Create a conda environment with the dependencies specified by the yaml

conda env create --file conda/build-environment.yaml

# Activate the created environment

conda activate tvm-build

上面的命令将安装所有必要的构建依赖项，如cmake和LLVM。然后可以在最后一节中运行标准生成过程。

如果要在conda环境之外使用编译后的二进制文件，可以将LLVM设置为静态链接模式set(USE_LLVM "llvm-config --link-static")。这样，生成的库就不会依赖于conda环境中的动态LLVM库。

上面的说明展示了如何使用conda来提供构建所需的libtvm构建依赖关系。如果已经在使用conda作为软件包管理器，并且希望直接将tvm作为conda软件包进行构建和安装，可以按照以下说明进行操作：

conda build --output-folder=conda/pkg  conda/recipe

# Run conda/build_cuda.sh to build with cuda enabled

conda install tvm -c ./conda/pkg

Building on Windows

使用cmake通过MSVC构建TVM支持。需要安装一个visualstudio编译器最低要求VS版本为Visual Studio Community 2015 Update 3。建议：Building with a Conda Environment以获得必要的依赖关系，获得激活的tvm构建环境。然后可以运行以下命令来构建：

mkdir build

cd build

cmake -A x64 -Thost=x64 ..

cd ..

The above command generates the solution file under the build directory. You can then run the following command to build

cmake --build build --config Release -- /m

Building ROCm support

Currently, ROCm is supported only on linux, so all the instructions are written with linux in mind.

• Set set(USE_ROCM ON), set ROCM_PATH to the correct path.
• You need to first install HIP runtime from ROCm. Make sure the installation system has ROCm installed in it.
• Install latest stable version of LLVM (v6.0.1), and LLD, make sure ld.lld is available via command line.

Python Package Installation

TVM package

Depending on your development environment, you may want to use a virtual environment and package manager, such as virtualenv or conda, to manage your python packages and dependencies.

to install and maintain your python development environment.

The python package is located at tvm/python There are two ways to install the package:

Method 1

This method is recommended for developers who may change the codes.

Set the environment variable PYTHONPATH to tell python where to find the library. For example, assume we cloned tvm on the directory /path/to/tvm then we can add the following line in ~/.bashrc. The changes will be immediately reflected once you pull the code and rebuild the project (no need to call setup again)

export TVM_HOME=/path/to/tvm

export PYTHONPATH=$TVM_HOME/python:${PYTHONPATH}

Method 2

Install TVM python bindings by setup.py:

# install tvm package for the current user

# NOTE: if you installed python via homebrew, --user is not needed during installaiton

#       it will be automatically installed to your user directory.

#       providing --user flag may trigger error during installation in such case.

export MACOSX_DEPLOYMENT_TARGET=10.9  # This is required for mac to avoid symbol conflicts with libstdc++

cd python; python setup.py install --user; cd ..

Python dependencies

Note that the --user flag is not necessary if you’re installing to a managed local environment, like virtualenv.

• Necessary dependencies:

pip3 install --user numpy decorator attrs

• If you want to use RPC Tracker

pip3 install --user tornado

• If you want to use auto-tuning module

pip3 install --user tornado psutil xgboost cloudpickle

Install Contrib Libraries

• NNPACK Contrib Installation

Enable C++ Tests

We use Google Test to drive the C++ tests in TVM. The easiest way to install GTest is from source.

git clone https://github.com/google/googletest

cd googletest

mkdir build

cd build

cmake ..

make

sudo make install

After installing GTest, the C++ tests can be built and started with ./tests/scripts/task_cpp_unittest.sh or just built with make cpptest.