Cuda常用概念及注意点

线程的索引计算

只需要知并行线程的初始索引，以及如何确定递增的量值，我们希望每个并行线程从不同的索引开始，因此就需要对线程索引和线程块索引进行线性化，每个线程的其实索引按照以下公式来计算：

int tid = threadIdx.x + blockIdx.x * blockDim.x;

线程块数量限制：65536

线程块中线程数量限制：512

共享内存和同步

共享内存

__share__添加到变量声明,使得声明的变量驻留在共享内存中。cuda c编译器对共享内存中的变量和普通变量采用不同的处理策略，对于GPU启动的每个线程块，cuda c都将创建该变量的一个副本。线程块中的所有线程都会共享这块内存。但线程却无法看到也不能修改其他线程块的变量副本。这是同一个线程块中的不同线程进行通信和协作的基础。

共享内存缓冲区驻留在物理gpu上，访问时延极低。

同步

__syncthreads();对线程块中的线程进行同步。线程发散的容易出现，使得部分场景下的线程同步很有必要。

线程发散：当某些线程需要执行一些指令，而其他线程不需要执行时，这种情况叫做线程发散。在正常环境中，发散的分支会使得某些线程处于空闲状态，而其他线程将执行线程中的代码。在__syncthreads()情况中，线程发散造成的结果有些糟糕，cuda架构将确保，除非线程块中所有的线程都执行了同步操作，否则没有任何线程可以执行同步操作之后的指令。

常量内存与事件

常量内存：NVIDIA提供64k的常量内存，有效减少内存宽带。__constant__ 将变量的访问限制为只读。

从主机内存复制到GPU上的常量内存，使用方法cudaMemcpyToSymbol()进行复制。

性能提升原因

（1）对常量内存的单次操作可以广播到其他邻近线程，节约15次的读写操作；

当处理常量内存时，NVIDIA硬件将单次内存读取操作广播到每个半线程束。

（2）常量内存的数据将缓存起来，因此对相同地址的连续访问不会产生额外的内存通信量。

线程束：warp

在cuda架构中，线程束指的是一个包含32个线程的集合，这些个线程被编制在一起，并且以步调一致（LockStep）的形式执行，在程序中的每一行，线程束中的每个线程都将在不同的数据上执行相同的命令。

事件API

cuda的事件本质上其实就是一个时间戳，这个时间戳就是在用户指定的时间上记录的。获得一个时间戳只有两个步骤：创建一个事件，记录一个事件。

cudaEvent_t start, stop;
cudaEventCreate(&start);
cudaEventCreate(&stop);
cudaEventRecord(start, 0);
// gpu执行操作
...
cudaEventRecord(stop, 0);
cudaEventSynchronize(stop);

cudaEventDestroy(start);
cudaEventDestroy(stop);

文理内存（Texture Memory）

简介：

​ 与常量内存类似，只读，缓存在芯片上，减少对内存的请求，并提供更高效的内存带宽。专门为在内存访问模式中存在大量空间局部性（special locality）的图形应用程序而设计。在某个计算应用程序中，这意味着一个线程读取的位置可能与邻近线程读取的位置非常接近。纹理内存专门为加速这种内存访问模式。

纹理存储器中的数据是以一维、二维或者三维数组的形式存储在显存中，可以通过缓存加速访问，并且可以声明大小比常量存储器要大得多。在kernel中访问纹理存储器的操作称为纹理拾取。将显存中的数据和纹理参考系关联的操作，称为将数据和纹理绑定。显存中可以绑定到纹理的数据有两种，分别是普通的线性存储器和cuda数组。

使用步骤：

（1）需要将输入的数据声明为texture类型的引用；声明变量在gpu上；

（2） gpu中分配内存，通过cudaBindTexture()将变量绑定到内存缓冲区。告诉cuda运行时两件事情：

• 我们希望将指定的缓冲区作为纹理来使用；
• 我们希望将纹理引用作为纹理的“名字”。

（3）启动核函数，读取核函数中的纹理时，需要通过特殊的函数来告诉GPU将读取请求转发到纹理内存而不是标准的全局内存，使用编译器内置函数：tex1Dfetch();

（4）释放缓冲区，清除与纹理的绑定，cudaUnbindTexture();

流

页锁定内存

页锁定主机内存，固定内存，不可分页内存，OS将不会对这块内存分页并且交换到磁盘上。从而确保该内存始终驻留在物理内存中。OS可以安全的使某个应用程序访问该内存的物理地址，这块内存将不会被破坏或者重新定位。

• malloc分配的是标准的、可分页的主机内存；
• cudaHostAlloc将分配页锁定的主机内存。

建议：仅对cudaMemcpy（）调用的源内存或者目标内存，才能使用页锁定内存，并且在不需要使用他们时，立即释放。

流

支持设备重叠功能的设备，支持设备重叠功能的GPU能够在执行一个CUDA C核函数的同时，还能在设备和主机之间进行复制操作。

一些新的GPU设备同时支持核函数和两次的复制操作，一次是从主机到设备，一次是从设备到主机。在任何支持内存复制和核函数的执行相互重叠的设备上，当使用多个流时，应用程序的整体性能都能得到提升。

判断设备是否支持计算与内存复制操作的重叠：

int main( void ) {
	cudaDeviceProp prop;
	int whichDevice;
	HANDLE_ERROR( cudaGetDevice(&whichDevice) );
	HANDLE_ERROR( cudaGetDeviceProperties(&prop, whichDevice) );
	if(!prop.deviceOverlap) {
      	printf("Device will not handle overlaps");
      	return 0;
	}
}

多GPU系统上的CUDA C

零拷贝内存：可以在cuda C核函数中，直接访问这种类型的主机内存，由于这种内存不需要复制到GPU，因此称为零拷贝内存。通过cudaHostAlloc进行分配，最后一个参数采用：cudaHostAllocMapped.

判断设备是否支持映射主机内存：

int main( void ) {
	cudaDeviceProp prop;
	int whichDevice;
	HANDLE_ERROR( cudaGetDevice(&whichDevice) );
	HANDLE_ERROR( cudaGetDeviceProperties(&prop, whichDevice) );
	if(prop.canMapHostMemory != 1) {
      	printf("Device can not map memory");
      	return 0;
	}
}

当输入内存和输出内存都只是用一次时，那么在独立GPU上使用零拷贝内存将带来性能提升。

判断某个GPU时集成的还是独立：

cudaGetDeviceProperties()获取属性结构体，该结构中的域：integrated，如果是设备是集成GPU，该值为true，否则为false。

注意：多GPU场景下，每个gpu如果都要运行gpu程序的话，都需要主机cpu启动单独的线程进行资源控制，都有对应自己的线程。

《Programming Massively Parallel Processors: a Hands-On Approach》