【并行计算-CUDA开发】有关CUDA当中global memory如何实现合并访问跟内存对齐相关的问题

ps:这是英伟达二面面的一道相关CUDA的题目。《NVIDIA CUDA编程指南》第57页开始

         在合并访问这里，不要跟shared memory的bank conflict搞混淆了，这里很重要。

         global memory没有被缓存（面试答错了！），因此，使用正确的存取模式来获得最大的内存带宽，更为重要，尤其是如何存取昂贵的设备内存device
memory。

         首先，设备device有能力，在一个单一指令下，从global memory中读取32-bit, 64-bit, 128-bit字进入寄存器register。

         分配如下：

__device__ type device[32];

type data = device[tid];

编译一个单一加载指令，type必须是sizeof(type) = 4、8 或者 16 这样的，

                                            而且要求内置类型像float2 或 float4 一样的自动完成的。

对于结构、大小和队列要求可以通过编译器强制使用队列指定的__align__(8) 或 __align__(16)，

例如

struct __align(8)__{

float a;

float b;

};

//或者是

struct __align(16)__{
float a;
float b;

float c;
};

对于结构 > 16字节的，编译器生成几个加载指令，来保证它生成最低数量的指令，这样的结构应该用__align__(16)定义

例如：

struct __align(16)__{
float a;
float b;

float c

float d

float e;

};

//!被编译成两个128-bit的加载指令，而不是5个32-bit加载指令

其次，全局内存地址同时被每线程的一个half-warp访问（执行读和写指令）时，应该排列好，以便内存的存取可以结合进入一个接近单一的，排列好的内存存取。

         它意味着，在每一个half-warp中，在half-warp中的第N个线程应该访问该地址。

HalfWarpBaseAddress + N

这里，HalfWarpBaseAddress  是类型 type* ，而 type 应该符合之前讨论过的大小和队列要求。

         HalfWarpBaseAddress应该排列成16 * sizeof ( type ) 字节，例如16 * sizeof ( type ) 的倍数。

 任何一个驻留在全局内存BaseAddress的变量的地址，或者一个来自 D.5 或 E.8 部分内存分配规则返回的地址，问题被排列成至少256个字节，以此来满足内存队列的约束，

HalfWarpBaseAddress - BaseAddress 应该是 16 * sizeof ( type ) 的倍数

注意：如果一个half-warp满足了上面的所有需求，那么每线程的内存访问被联合了，即使half-warp的一些线程实际上没有访问内存。

建议：对于整个warp满足这个需求，而不是分开的，半个半个的。

            因为未来的设备将默认为必要的要求。

示例：联合的 64-bit 访问会比联合的 32-bit 访问内存带宽低一点，

            联合的128-bit访问会比联合的32-bit访问内存带宽要低很多。

  

 

一个公共的全局内存访问样式是，当每个带有线程ID tid 的线程访问位于一个数组的一个元素时，元素的地址位于类型 type* 的 BaseAddress，使用以下地址

BaseAddress + tid

为了获得内存的联合，type 必须符合之前讨论过的大小和队列的要求。

如果 type 的结构 > 16字节，它应该被分成几个满足要求的结构，并且数据应该在内存中被划分成关于这些结构的几个数组，而不是一个类型 type* 的单一数组。

另一个公共的全局内存访问样式是，

当带有索引 (tx, ty) 的每条线程访问地址位于类型 type* 的BaseAddress 和宽度 width 的2D数组的一个元素使用以下地址：

BaseAddress + width * ty + tx

在这样的情况下，获得 half-warp 的所有块线程的内存结合，只有当

a. 块线程的宽度是一半warp大小的倍数

b. width 是16 的倍数

特别是，这意味着，宽度不是16的倍数的数组将被更高效地访问，如果它实际上分配是宽度被传入到最接近16的倍数而且，它的列因此被填充了。

cudaMallocPitch() 和 cuMemAllocPitch() 函数和在D.5和E.8 部分描述的相关内存拷贝的函数，使开发人员能够编写非硬件独立的代码，来分配遵循这些约束的数组。