Nanodet模型部署(ncnn,openvino)/YOLOX部署(TensorRT)

Nanodet模型部署(ncnn,openvino)

• nanodet官方代码库nanodet

1. nanodet模型部署在openvino上

step1: 参考链接

• nanodet官方demo

• openvino官方文档

• GiantPandaCV的openvino部署文档

step2: 步骤补充

• 以openvino官方文档为主要参考

1. 进入openvino官方文档后点击[Install Package]
2. 然后开始官方文档的step1进行选择下载形如[l_openvino_toolkit_p_2021.4.752.tgz]
   • 选择Linux -> Online & Offline -> 2021 4.2 LTS -> offline (注意选择Version Type时候注意，如果是低点版本可能在Ubuntu20.04上安装protuf(好像是这个名字)会包g++不对) ->然后随便填邮箱，国家即可下载
3. 后续对比上面三个官方文档(openvino官方文档为主)一步一步即可
4. openvino将onnx转换成适合openvino的格式是nanodet.xml nanodet.bin nanodet.maping

step3: 使用CLion进行阅读调试代码(Debug)

1. 先进入clion.sh位置(/home/zranguai/software/CLion-2021.3.2/clion-2021.3.2/bin) 然后sh clion.sh
2. source /opt/intel/openvino_2021/bin/setupvars.sh
3. 选择nanodet的demo_openvino项目
4. 左上角Edit Configuration进行配置main.cpp的参数(例如Program arguments 3 0)进行Debug调试

2. nanodet模型部署在ncnn上

step1: 参考链接

• nanodet官方demo
• ncnn官方build
• mmdeploy安装指南

step2: 步骤补充

• 以mmdeploy安装指南为主要参考
• 如果需要安装opencv可以参考opencv安装教程
• 或者上面openvino的GiantPandaCV里也有已经编译好的opencv
• 在编译好的ncnn里面运行onnx2ncnn产生.param 和 .bin(/home/zranguai/C_C++_Code/C_C++_deploy/ncnn/build/tools下)
• 使用ncnnoptimize优化ncnn模型(/home/zranguai/C_C++_Code/C_C++_deploy/ncnn/build/)
• ncnn将onnx转换成适合ncnn的格式是 nanodet.param nanodet.bin

step3: 使用CLion进行阅读调试代码(Debug)

1. 先进入clion.sh位置(/home/zranguai/software/CLion-2021.3.2/clion-2021.3.2/bin) 然后sh clion.sh
2. export VULKAN_SDK=(pwd)/1.2.176.1/x86_64 -->其中是mmdeploy官方文档安装vulkansdk的
   • 例如 export VULKAN_SDK=/home/zranguai/C_C++_Code/C_C++_deploy/1.2.176.1/x86_64
3. export ncnn_DIR=YOUR_NCNN_PATH/build/install/lib/cmake/ncnn
   • 例如 export cnn_DIR=/home/zranguai/C_C++_Code/C_C++_deploy/ncnn/build/install/lib/cmake/ncnn
4. 配置参数进行Debug阅读代码即可

YOLOX模型部署在TensorRT上

step1: 参考链接

• mmdeploy安装文档
• yolox官方文档
• nvidia的tar包安装地址

step2步骤补充

1. TensorRT安装时操作系统，cuda, cudnn需要对上
2. 安装mmdeploy上将环境变量导入到~/.bashrc
3. 在yolox是make遇到问题解决方案: (https://github.com/Megvii-BaseDetection/YOLOX/issues/768)
4. 在yolox的CMakeLists.txt需要更改cuda,cudnn, TensorRT路径
5. 转换成适合TensorRT的格式是model_trt.engine

使用CLion进行阅读调试代码(Debug)

• 这里因为之前将环境导入~/.bashrc，and yolox的CMakeLists.txt有路径所以直接打开即可
• 配置路径进行调试
  • /home/zranguai/Cv-Code/detection/YOLOX-0.2.0/YOLOX_outputs/yolox_s/model_trt.engine -i /home/zranguai/Cv-Code/detection/YOLOX-0.2.0/assets/dog.jpg