CUDA C编程入门

最近想用cuda来加速三维重建的算法，就先入门了一下cuda。

CUDA C 编程

cuda c时对c/c++进行拓展后形成的变种，兼容c/c++语法，文件类型为'.cu'，编译器为nvcc。cuda c允许用内核函数来扩展c，调用时由N个不同的线程共执行N次。块内的线程可以通过共享存储器共享数据并通过它们的执行力来协调存储器访问，aka 通过调用__syncthreads()内部函数来指定内核中的同步点。

相比传统的cpp，添加了这么几个方面：

• 函数类型限定符
• 执行配置运算符
• 五个内置变量
• 变量类型限定符
• 其他的还有数学函数，原子函数，纹理读取，绑定函数等。

函数类型限定符

用来确定时再cpu还是gpu运行，以及这个函数是从cpu还是gpu调用。

• device表示从gpu调用，再gpu运行
• global表示从cpu调用，在gpu执行，也称kernel函数。
• host表示在cpu上调用，在cpu上执行。

执行配置运算符

用来传递核函数的执行参数。

使用__global__声明说明符定义内核，用<<< ... >>>来为内核指定cuda线程数。每一个线程都有一个唯一的ID，可以通过内置threadIdx来访问。

<<< ... >>>中可以时int或者dim3类型。

五个内置变量

gridDim;
blockDim;
blockIdx;
threadIdx;
warpSize;

变量类型限定符

__device__; // 表示位于全局内存空间，默认类型
__share__; // 表示位于共享内存空间
__constant__; // 常量内存空间
texture; // 其绑定的变量可以被纹理缓存加速访问

some unit

• thread：一个cuda的并行程序会被许多个threads来执行。
• block：数个threads会被群组成要给block，同一个block中的threads可以同步，也可以通过shared memory通信。
• grid：多个blocks再构成grid
• warp：GPU执行程序时的调度单位，目前cuda的warp的大小为32，同在一个warp的线程，以不同数据资源执行相同的指令，就是所谓的SIMT。

关于内存：

• 每个线程都有私有本地内存
• 每个线程块都具有对块的所有线程可见的共享内存,并且和块有相同的生存周期
• 所有线程都可以访问相同的全局内存

所有线程都可以访问的额外两个只读存储空间：常量内存和纹理内存.

cuda编程还假设主机和设备都在DRAM中保持他们自己的独立存储空间，分别成为主机存储器（host memory)和设备存储器(device memory)。

统一内存(Unified memory)和托管内存(managed memory)以桥接主机和设备的内存空间。可以从系统的所有CPU和GPU访问托管内存。

Device Memory

核函数在设备内存之外运行，因此runtime提供分配，释放和复制内存的功能，以及在主机内存和设备内存之间传输数据的功能。

设备存储器可以分为线性内存(linear memory)或cuda阵列(cuda arrays)。

cuda数组时不透明的内存布局，针对纹理提取进行了优化。

线性内存通常通过cudaMalloc()分配，并使用cudaFree()释放，主机存储器和设备存储器之间的数据传输通常使用cudaMemcpy()完成。

还有一些函数：cudaMallocPitch(), cudaMalloc3D(), cudaMemcpy2D(), cudaMemcpy3d().

Shared Memory

共享内存是使用__shared__内存空间说明符分配的。

共享内存一般比全局内存快得多，因此用改利用共享内存替换访问全局内存的任何机会。

这一块还不太懂，回头再摸。