HiSi 3516CV500 NNIE(Neural Network Inference Engine) 摸鱼记录(3) ---真机调试（实例分析）

PS：要转载请注明出处，本人版权所有。

PS: 这个只是基于《我自己》的理解，

如果和你的原则及想法相冲突，请谅解，勿喷。

前置说明

  本文作为本人csdn blog的主站的备份。（BlogID=086）

  本文发布于 2019-06-15 18:08:34，现用MarkDown+图床做备份更新。blog原图已丢失，使用csdn所存的图进行更新。（BlogID=086）

环境说明

  无

背景

---

  本文建立前两篇的文章基础之上：

• 《HiSi 3516CV500 NNIE(Neural Network Inference Engine) 摸鱼记录(1) --- 环境搭建》
  
  https://blog.csdn.net/u011728480/article/details/91125581
• 《HiSi 3516CV500 NNIE(Neural Network Inference Engine) 摸鱼记录(2) --- 模型生成及模型仿真(实例分析)》
  
  https://blog.csdn.net/u011728480/article/details/91294917

  本文将会以一个实例来进行分析。hisi svp sdk的基础之上。同时本文也是本系列文章的终章。

NNIE 使用流程（其实就是读其sdk文档）

---

hisi svp 整体框架

	vision app
	--------------------
	mpi(MPP Program Interface)
	--------------------
	driver(ko)
	--------------------
	nnie（hardware）

  从上述框架来说，我们要自己用的内容就是vision app 、mpi、以及nnie api

  vision app就是做图像数据的准备以及结果处理，mpi做mmz内存分配（海思特有的内存空间），nnie做forward。

相关api 简介

/*
* mpp System init
*/
HI_MPI_SYS_Exit()
HI_MPI_VB_Exit()
//设置MPP 视频缓存 池 属性 。
HI_MPI_VB_SetConfig()
HI_MPI_VB_Init()
HI_MPI_SYS_Init()

//load model
//在mmz中分配一部分内存来存放model
HI_MPI_SYS_MmzAlloc()
//从mmz内存中解析模型
HI_MPI_SVP_NNIE_LoadModel()

//NNIE  Param  Init

//forward prepare
//------------------------根据model的配置，为每一段（这里你可以简单理解为层）的forward ctrl param , src Blob, dst Blob.也就是初始化SVP_NNIE_FORWARD_CTRL_S[]，SVP_NNIE_FORWARD_WITHBBOX_CTRL_S[]，SVP_SRC_BLOB_S[]，SVP_DST_BLOB_S[]数组元素的值。
HI_MPI_SVP_NNIE_GetTskBufSize()//获取给定网络任务 各段 辅助内存
HI_MPI_SVP_NNIE_AddTskBuf()//记录TskBuf 地址 信息

//----------------给第一层送入预处理好的图片到SVP_SRC_BLOB_S

HI_MPI_SYS_MmzFlushCache()//刷新内存
HI_MPI_SVP_NNIE_Forward()//forward
HI_MPI_SVP_NNIE_Query()//查询forward任务是否完成
HI_MPI_SYS_MmzFlushCache()//刷新内存

//---------------解析HI_MPI_SVP_NNIE_Forward的参数astDst[]，得到网络的最终输出

  各种类型的forward其实hisi都已经有各个例子可以参考的。上面的总结也是我从它的例子中剥离出来的。我这里也想吐槽一下，hisi例子写的很好，就是封装的层数太多了，反而让人感觉很不爽。

NNIE 开发实例流程（其实就是参考其sample）

---

魔改hisi sample

  在hisi sdk中，提供了多种网络的例子，这里以我的cnn 分类网络为例。

根据前文可以得到inst 的wk模型。以及一个预处理好的图片bin文件。

  找到目标文件，smp/a7_linux/mpp/sample/svp/nnie/sample/sample_nnie.c，直接复制void SAMPLE_SVP_NNIE_Cnn(void)为我的函数，修改图片bin路径和wk路径。

  作为新手，不建议去看其他的，直接改最后一部分，打印最后一层输出，直接和仿真的值进行对比。当然你熟悉后就必须自己一点点看懂，不然出错没有办法纠正。

  我这里给个demo参考例子。结果打印：

  仿真以及caffe输出值对比最后一层：

  可以发现确实是对应上了，这就证明了这个网络至少跑出来的大方向是没问题了，剩下的就是自己组织优化的问题了。

注意

  如果出现最后输出对应不上，先去检查图像输入对不对，也就是srcBlob的第一层是不是一样的，70%都是这里出问题了。

  其次再去看打印的方式对不对。

  最后看整个nnie器件你使用对不对。

后记

---

   总结

   要完成这个事情，需要对深度学习，嵌入式编程有一定基础才行。一般来说，都是算法出模型，嵌入式的人做这个事情，当然有兴趣的话都一起做也行。这里我想说的是这是一个学科交叉的事情，单单了解一个方向的知识都不行的。所以，一定要多沟通，才能够干好这个事情。

   其实这也是嵌入式方向的人的一个契机，当你了解一些基本的深度学习知识，而且又掌握嵌入式相关的内容，肯定是非常不错的，毕竟这是一个非常有趣的事情。

参考文献

• 无

---

打赏、订阅、收藏、丢香蕉、硬币，请关注公众号（攻城狮的搬砖之路）

PS: 请尊重原创，不喜勿喷。

PS: 要转载请注明出处，本人版权所有。

PS: 有问题请留言，看到后我会第一时间回复。