CUBLAS基础实验

一、概述

最近在试图进行cuda并行编程，目标是编写一段矩阵计算代码，将计算结果存储进入GPU的缓冲区当中，并在达到某些要求后强制刷新缓冲区，取得计算结果。

但是考虑时间紧任务重的状况和实际的性能要求，决定使用cublas进行矩阵计算。

本篇文章试图记录我在进行cublas实验时得出的一些结论和一些心得。

二、具体内容

环境和配置

对于在win系统上进行cublas实验需要安装cuda、vs2013+版本。安装过程不再赘述，值得注意的在之后新建项目，引入的头文件应当是cublas_v2，在该头文件下的矩阵计算函数包含了cublas_handle_t的首个参数，是大多是找得到的教程当中要求的函数。

在新建工程之后，如果直接使用cublas的函数进行计算则有一定几率出现error LNK2001——无法解析的外部符号。此时的解决方案大致为两部：1、在项目的链接器配置中加入cudatookit当中的lib文件夹下的所有文件；2之后将该文件夹的路径显式的加入链接器输入的外部库道中。具体过程建议参见：https://blog.csdn.net/xianhua7877/article/details/80792027

值得注意的一点是，该博客提到的一堆lib文件中，由于版本不同可能有的存在于实际目录下，而有的不存在于实际目录下，因此应当在配置结束后删除不存在的文件引用。（查找的方法推荐直接编译运行文件，之后查看报错去除不存在的文件）。

使用cublas计算的基本流程

1、应当建立cublas句柄（handle），用于进行cublas计算

2、应当将待计算数据在内存中准备好（最终表现形式应当为一维数组）

3、应当将在设备端（通常指显卡）中准备相应大小的内存，应当使用命令cudaMolloc（最终表现形式应当为一维数组）

4、应当将内存中的数据传输到设备端，使用命令视类型而有不同，例如，准备的数据类型为矩阵时应当使用命令cublasSetMatrix

5、应当使用cuda计算函数进行计算，并将结果保存在设备端的有效内存中。

6、最终将计算结果传输回到设备端进行回收。

值得注意的是，对于一个矩阵，常规写法和C对于二维数组的写法实际上是按照行优先的形式进行存储的。然而考虑BLAS的历史，最早是为了支持F语言的矩阵运算，因此使用了列优先的存储方式。

因此对于一个矩阵元素的寻址通常使用宏定义的形式定义列优先的寻址方式。例如：
#define idx(x,y,m) (x + (y*m))
在进行矩阵计算时的，有一个参数ldx(x通常为'A'或'B')，该参数实际上指的就是在列优先（或行优先）的情况下，一列（或一行）的元素个数。全称是（leading dimension）即主维，并非cublas独有的一个概念。