【2023 · CANN训练营第一季】昇腾AI入门Pytorch

昇腾AI全栈架构

华为AI全栈全场景解决方案为4层，分别为芯片层、芯片使能层、AI框架层和应用使能层。

芯片

基于统一、可扩展架构的系列化AI IP和芯片，为上层加速提供硬件基础。

芯片产品：昇腾310和昇腾910的独立芯片，Nano-Tiny-Lite的非独立芯片。

Ascend层，一切集成电路的核心，主要作用为运算作用；芯片要学习外部数据以实现对特定数据的感知能力，衡量芯片运算能力的单位为TOPS（每秒钟进行一万亿次，\(10^{12}\)次）

根据不同的需求可以覆盖端边云全场景，端包括手机、手表、摄像头、耳机等（20MPOS-20TPOS间），边包括车载处理器、边缘计算服务器（10TOPS-100TOPS），云包括数据中心（配备Ascend910系列芯片，提供200+TOPS算力.）

芯片使能（异构计算架构）

芯片使能层作用是实现解决方案对外能力开放，及基于计算图的业务流的控制和运行。芯片使能层的作用是调用芯片算力，进行任务调度处理、加减乘除运算和复杂的微积分运算等，通过异构计算架构（Computer Architecture for Neural Networks，CANN）提供的AscendCL语言完成对芯片的控制，让其按照给定指令工作。

CANN支持多种主流的AI框架，包括MindSpore、Tensorflow、Pytorch、Caffe等，并提供上千个高性能算子；CANN中包括了计算加速库、芯片算子库和高度自动化的算子开发工具。

CANN可以抽象为5层，分别是计算基础层、计算执行层、计算编译层、计算服务层、计算语言。

• 计算基础层：为上层提供基础服务，如共享虚拟内存（Shared Virtual Memory，SVM）、设备虚拟化（Virtual Machine，VM）、主机-设备通信（Host Device Communication，HDC）等
• 计算执行层：负责模型和算子的执行，提供如运行时( Runtime ）库（执行内存分配、模型管理、数据收发等）、图执行器（ Graph Executor )、数字视觉预处理（ Digital Vision Pre - Processing , DVPP )、人工智能预处理( Artificial Intelligence Pre-Processing, AIPP )、华为集合通信库（Huawei Collective Communication Library , HCCL ）等功能单元。
• 计算编译层：本层主要提供图编译器（ Graph Compiler ）和 TBE ( Tensor Boost Engine ）算子开发支持。前者将用户输入中间表达（ Intermediate Representation , IR ）的计算图编译成 NPU 运行的模型。后者提供用户开发自定义算子所需的工具。
• 计算服务层：本层主要提供异腾计算库，如神经网络( Neural Network , NN ）库、线性代数计算库( Basic Linear Algebra Subprograms . BLAS )等；昇腾计算调优引擎库，例如算子调优、子图调优、梯度调优、模型压缩以及 AI 框架适配器。
• 计算语言（昇腾算子库）：接口是昇腾计算开放编程框架，是对低层昇腾计算服务接口的封装。它提供 Device （设备）管理、 Context （上下文）管理、 Stream （流）管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理、 Graph （图）管理等 API 库，供用户开发人工智能应用调用。

CANN平台---应用开发框架AscendCL：昇腾计算语言，是昇腾计算开放编程框架（是加速模型推理和应用的框架，和训练无关），是对底层昇腾计算服务接口的封装，提供运行时资源（如设备、内存等）管理、模型加载与执行、算子加载与执行、图片数据编解码/裁剪/缩放处理等API库，实现在CANN平台上进行深度学习推理计算、图像图像预处理、单算子加速计算等能力。【统一的API框架实现对所有资源的调用】

AscendCL（Ascend Computing Language）是一套用于在昇腾平台上开发深度神经网络推理应用的C语言API库，提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API，能够实现在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。用户可以通过第三方框架调用AscendCL接口，以便使用昇腾AI处理器的计算能力；用户还可以使用AscendCL封装实现第三方lib库，以便提供昇腾AI处理器的运行管理、资源管理能力。

这个框架需要完成三个任务：应用程序的实现、模型开发（训练代码）、算子（计算图）实现，对应的三种核心能力为模型加载能力开放、算子能力开发和Runtime能力开放。

AscendCL的优势：

• 高度抽象：算子编译、加载、执行的API诡异，相比每个算子一个API，AscendCL大幅度减少API数目，降低计算复杂度。
• 向后兼容：确保软件升级后，基于旧版本编译程序依然可以在新版本上运行。
• 零感知芯片：AscendCL接口可以实现应用代码统一，多昇腾处理器无差异。

AscendCL的应用场景：

• 开发应用：用户可以直接调用提供的接口开发目标分类识别应用。
• 供第三方框架调用：用户可以通过第三方框架调用AscendCL接口，使用昇腾AI处理器的计算能力。
• 供第三方开发lib库：用户可以使用AscendCL封装实现第三方库lib库，方便AI处理器运行管理和资源管理。

框架层

构建模型的训练框架，可支持MindSpore、Tensorflow、Pytorch、Caffe等端边云协同的同意训练和推理框架。

应用使能层

一键开发平台Modelarts，基于Web端的应用平台，提供云上的开发环境，训练环境，AI应用的生成以及部署。【用于部署模型的软硬件，包括API/SDK/部署平台和模型库】

模型迁移方法和步骤

硬件简介

NPU为神经网络处理单元，和CPU/GPU明显区别在于计算单元的区别；在上图中可以看到NPU将计算单元分为矩阵计算单元、向量计算单元和标量计算单元。

• 矩阵计算单元Cube：负责矩阵运算，每次可以完成FP16类型的\(16\times16\)大小的两个矩阵相乘，包括MATMUL/CONV2D/LINEAR等运算。
• 向量计算单元Vector：负责向量运算，支持FP16/FP32/INT8/INT32类型。
• 标量计算单元Scalar：负责标量运算和程序流程控制。

Ascend-Pytorch安装

参考以下链接安装：

https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000002.html

https://www.hiascend.com/document/detail/zh/canncommercial/601/modeldevpt/ptmigr/ptmigr_0004.html

https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000035.html

模型迁移方法

自动迁移、脚本转换工具迁移和手工迁移。

Demo链接：https://gitee.com/ascend/modelzoo

参考手册：https://www.hiascend.com/document/detail/zh/canncommercial/601/modeldevpt/ptmigr/ptmigr_0008.html

自动迁移

在训练脚本中加入以下代码

from torch_npu.contrib import transfer_to_npu

脚本工具转换迁移

# 进入脚本转换工具所在路径（即脚本工具的安装路径）
cd Ascend-cann-toolkit安装目录/ascend-toolkit/tools/ms_fmk_transplt/
# 执行脚本转换
./pytorch_ _gpu2npu.sh -i 原始脚本路径 -0 脚本转换结果输出路径 -V 原始脚本框架
# 查看结果

手工迁移

单卡迁移：

# 1、导入NPU相关库
import torch
import torch_npu

# 2、迁移适配GPU的模型脚本，指定NPU作为训练设备。指定训练设备由两种方式

# .to(device)
# 该方式可以指定需要的训练资源，使用比较灵活，定义好device后可通过xx.to(device)的方式将模型或数据集等加载到GPU或NPU上，如model.to(device)。

device = torch.device('cuda:{}'.format(args.gpu)) # 迁移前
device = torch.device('npu:{}'.format(args.gpu)) # 迁移后

#.cuda(迁移前)和.npu（迁移后）
# 该方式不会自动使用GPU或NPU，需要以xx.cuda()或xx.npu()的方式将模型数据# 集等加载到GPU或NPU上，如model.cuda()

torch.cuda.set_device(args.gpu) # 迁移前
torch_npu.npu.set_device(args.gpu) # 迁移后

# 3、替换CUDA接口：将训练脚本中的CUDA接口替换为NPU接口，例如CUDA接口、模型、损失函数、数据集等迁移到NPU上。
# CUDA接口替换为NPU接口
torch.cuda.is_available() # 迁移前
torch_npu.npu.is_available() # 迁移后

# 模型迁移
model.cuda(args.gpu) # 迁移前
model.npu(args.gpu) # 迁移后

# 数据集迁移
images = images.cuda(args.gpu, non_blocking=True) # 迁移前
target = target.cuda(args.gpu, non_blocking=True)
images = images.npu(args.gpu, non_blocking=True) # 迁移后
target = target.npu(args.gpu, non_blocking=True)

多卡迁移：

# 除单卡迁移包含的3个修改要点外，在分布式场景下，还需要切换通信方式，直接修改init_process_group的值。
# 修改前，GPU使用nccl方式：
dist.init_process_group(backend='nccl',init_method = "tcp//:127.0.0.1:**", ...... ,rank = args.rank)    # **为端口号，根据实际选择一个闲置端口填写

# 修改后，NPU使用hccl方式：
dist.init_process_group(backend='hccl',init_method = "tcp//:127.0.0.1:**", ...... ,rank = args.rank)    # **为端口号，根据实际选择一个闲置端口填写

应用开发

基本准备

• 登录华为云：www.huaweicloud.com 注册账号

• 在账号中心获取华为账号名称，在我的凭证获取项目ID，申请ECS服务器和创建云平台。

• 在MOBAXTERM上创建SESSION，填写ECS上购买的公网IP，用户名为root用户，密码为所设置的密码。

• 切换到HwHiAiUser用户，在家目录下面(cd /home/)，然后使用su - HwHiAiUser切入

• CANN包安装在用户下的Ascend目录下的ascend-tookit的目录下。

• 在码云上选择一个案例进行部署推理：https://gitee.com/ascend/samples/tree/master/cplusplus/level2_simple_inference/2_object_detection/YOLOV3_coco_detection_picture，根据readme一步步操作即可。

• 日志目录为CANN软件安装目录/ascend/log，日志关键信息如下：

认证测试

• 以下哪一项是昇腾提供的AI框架(Mindspore)

• 通过AscendCL接口，能够实现利用昇腾硬件计算资源、在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。

• 您需要按顺序依次申请如下资源：Device、Context、Stream，确保可以使用这些资源执行运算、管理任务。有运行管理资源的申请，自然也有对应的释放接口，所有数据处理都结束后，需要按顺序释放运行管理资源：Stream、Context、Device。您可以只调用aclrtSetDevice接口，因为这个接口同时创建1个默认的Context；而这个默认的Context还附赠了Stream。

• 下列不属于昇腾计算服务层的是(昇腾张量编译器)

• 使用AscendCL开发应用的基本流程，以下正确的是？AscendCL初始化-->运行管理资源申请-->模型加载-->模型执行-->模型卸载-->运行管理资源释放-->AscendCL去初始化

• 以下关于ATC工具说法正确的是：ATC工具可将开源框架的网络模型(如Caffe、TensorFlow等)转换成Davinci架构专用的模型；ATC工具可以将Ascend IR定义的单算子描述文件转换为昇腾AI处理器支持的离线模型；ATC工具在转换过程中会进行算子调度优化、权重数据重排、内存使用优化等具体操作。

• 模型转换工具的名称是ATC

• 昇腾AI处理能识别*.om格式的模型文件

• 关于达芬奇架构中的计算单元，以下说法正确的是【Cube计算单元负责矩阵运算，每次执行可以完成一个fp16的16×16与16×16的矩阵乘； Vector计算单元负责执行向量运算，覆盖各种基本的计算类型；Scalar计算单元负责各类型的标量数据运算和程序的流程控制】

• PyTorch-Ascend(1.8)的安装步骤为：安装依赖 pyyaml和wheel -> 安装官方torch包 -> 编译生成PyTorch插件的二进制安装包 -> 安装插件torch_npu包

• AscendCL能够进行(模型加载与执行，运行时资源管理， 算子加载与执行，图像/视频处理)

• 下列关于AscendCL的说法正确的是：用户可以调用AscendCL提供的接口进行图片分类、目标识别等应用的开发；用户可以通过第三方框架调用AscendCL，以便使用昇腾AI处理器的计算能力；用户可以使用AscendCL封装实现第三方lib库，以便提供昇腾AI处理器的运行管理、资源管理等能力；用户可以使用AscendCL进行图开发并部署到昇腾AI处理器运行。

• 关于昇腾AI处理器内的计算单元，以下说法正确的是(AI CPU，负责执行不适合跑在AI Core上的算子，例如非矩阵类的复杂逻辑处理；AI Core，昇腾AI处理器内的AI计算加速单元；DVPP，昇腾AI处理器内置的图像处理单元；AIPP，可在AI Core上完成数据预处理)

• AscendCL接口支持的编程语言有(C&C++；Python)

• 以下哪些昇腾硬件可以用于推理？Atlas 200 AI加速模块，Atlas 500智能小站，Atlas 800 训练服务器，Atlas 300V 视频解析卡

• PyTorch框架在线对接昇腾AI处理器的适配方案有哪些特性和优点？ 最大程度的继承PyTorch框架动态图的特性；最大限度的继承原生PyTorch上的使用方法，用户迁移过程中在代码开发和代码重用时做到最小的改动；最大限度的继承PyTorch原生的体系结构；扩展性好。在打通流程的通路之上，对于新增的网络模型或结构，只需涉及相关计算类算子的开发与实现。

• 以下关于apex的功能和描述正确的是：[功能]opt_level: O1 [描述]精度模式，Conv, Matmul等使用float16计算，其他如Softmax、BN使用float32；[功能]opt_level: O2 [描述]性能模式，除了BN使用float32外，其他绝大部分使用float16；[功能]静态Loss Scale [描述]静态设置参数确保混合精度训练收敛；[功能]动态Loss Scale [描述]动态计算Loss Scale值并判断是否溢出。

• 日志中包括以下哪些关键信息：日志级别、触发生成日志的文件及对应的行号、产生日志的模块的名称、各模块具体的日志内容

• 关于AscendCL初始化，以下说法不正确的是？一个应用程序进程内可以调用多次aclInit接口进行AscendCL初始化 【正确的内容包括：AscendCL初始化时，可以通过json配置文件配置Dump信息、Profiling采集信息等；如果默认配置已满足需求，无需修改，可向aclInit接口中传入NULL，或者可将配置文件配置为空json串(即配置文件中只有{})；

  使用AscendCL接口开发应用时，必须先调用aclInit接口，否则可能会导致后续系统内部资源初始化出错，进而导致其它业务异常】