CUDA 7流简化并发

异构计算是指有效使用系统中的所有处理器，包括CPU和GPU。为此，应用程序必须在多个处理器上同时执行功能。CUDA应用程序通过在流（按顺序执行的命令序列）中，执行异步命令来管理并发性。不同的流可能同时执行，或彼此相对执行命令。

在不指定流的情况下执行异步CUDA命令时，运行时runtime将使用默认流。在CUDA 7之前，默认流是特殊流，它与设备上的所有其他流隐式同步。

CUDA 7引入了大量强大的新功能，其中包括为每个主机线程使用独立默认流的新选项，从而避免了对传统默认流的序列化。本文将展示这如何简化CUDA程序中内核与数据副本之间的并发。

Asynchronous Commands in CUDA

As described by the CUDA C Programming Guide, asynchronous commands return control to the calling host thread before the device has finished the requested task (they are non-blocking). These commands are:

Kernel launches;
Memory copies between two addresses to the same device memory;
Memory copies from host to device of a memory block of 64 KB or less;
Memory copies performed by functions with the Async suffix;
Memory set function calls.

Specifying a stream for a kernel launch or host-device memory copy is optional; you can invoke CUDA commands without specifying a stream (or by setting the stream parameter to zero). The following two lines of code both launch a kernel on the default stream.

如CUDA C编程指南所述，异步命令在设备完成请求的任务之前，将控制权返回给调用主线程（它们是非阻塞的）。这些命令是：

内核启动；
在两个地址之间复制内存到相同的设备内存；
从主机到设备的内存副本，大小为64 KB或更少；
带Async后缀的功能执行的内存副本；
内存设置函数调用。

为内核启动或主机设备内存副本指定流是可选的；可以在不指定流的情况下（或通过将stream参数设置为零）调用CUDA命令。以下两行代码都在默认流上启动内核。

kernel<<< blocks, threads, bytes >>>(); // default stream

kernel<<< blocks, threads, bytes, 0 >>>(); // stream 0

The Default Stream

如果并发性对性能不重要，则默认流很有用。在CUDA 7之前，每个设备都有一个用于所有主机线程的默认流，这会导致隐式同步。如《 CUDA C编程指南》中的“隐式同步”部分所述，如果主机线程向它们之间的默认流发出任何CUDA命令，则来自不同流的两个命令不能同时运行。

CUDA 7引入了一个新选项，即每线程默认流，它具有两个作用。首先，它为每个主机线程提供自己的默认流。这意味着由不同的主机线程发布到默认流的命令可以同时运行。其次，这些默认流是常规流。这意味着默认流中的命令可以与非默认流中的命令同时运行。

为了使每个线程默认CUDA流7或更高版本，可以用编译nvcc命令行选项--default-stream per-thread，或#define在CUDA_API_PER_THREAD_DEFAULT_STREAM预处理宏包括CUDA头（前cuda.h或cuda_runtime.h）。重要的是要注意：#define CUDA_API_PER_THREAD_DEFAULT_STREAM编译代码时，不能使用.cu文件中的此功能，nvcc因为nvcc隐式包括cuda_runtime.h在翻译单元的顶部。

To enable per-thread default streams in CUDA 7 and later, you can either compile with the nvcc command-line option --default-stream per-thread, or #define the CUDA_API_PER_THREAD_DEFAULT_STREAM preprocessor macro before including CUDA headers (cuda.h or cuda_runtime.h). It is important to note: you cannot use #define CUDA_API_PER_THREAD_DEFAULT_STREAM to enable this behavior in a .cu file when the code is compiled by nvcc because nvcc implicitly includes cuda_runtime.h at the top of the translation unit.

A Multi-Stream Example

Let’s look at a trivial example. The following code simply launches eight copies of a simple kernel on eight streams. We launch only a single thread block for each grid so there are plenty of resources to run multiple of them concurrently. As an example of how the legacy default stream causes serialization, we add dummy kernel launches on the default stream that do no work. Here’s the code.

看一个简单的例子。以下代码仅在八个流上启动一个简单内核的八个副本。为每个网格仅启动一个线程块，有大量资源可以同时运行多个线程。作为传统默认流如何导致序列化的一个示例，在默认流上添加了无效的虚拟内核启动。这是代码。

const int N = 1 << 20;

__global__ void kernel(float *x, int n)

{

int tid = threadIdx.x + blockIdx.x * blockDim.x;

for (int i = tid; i < n; i += blockDim.x * gridDim.x) {

x[i] = sqrt(pow(3.14159,i));

}

int main()

{

const int num_streams = 8;

cudaStream_t streams[num_streams];

float *data[num_streams];

for (int i = 0; i < num_streams; i++) {

cudaStreamCreate(&streams[i]);

cudaMalloc(&data[i], N * sizeof(float));

// launch one worker kernel per stream

kernel<<<1, 64, 0, streams[i]>>>(data[i], N);

// launch a dummy kernel on the default stream

kernel<<<1, 1>>>(0, 0);

}

cudaDeviceReset();

return 0;

}

首先，让我们通过不带任何选项的编译来检查传统行为。

nvcc ./stream_test.cu -o stream_legacy

可以在NVIDIA Visual Profiler（nvvp）中运行该程序，以获得显示所有流和内核启动的时间线。图1显示了在配备NVIDIA GeForce GT 750M（开普勒GPU）的Macbook Pro上生成的内核时间轴。可以在默认流上看到虚拟内核的极小条，以及如何导致所有其它流序列化。

当任何交错内核发送到默认流时，一个简单的多流示例不会实现并发

尝试新的每线程默认流。

nvcc --default-stream per-thread ./stream_test.cu -o stream_per-thread

图2显示了nvvp的结果。可以看到九个流之间的完全并发性：默认流（在本例中映射到流14）和创建的其它八个流。注意，虚拟内核运行得如此之快，以至于很难在该映像中看到默认流上有八个调用。

图2：使用新的每线程默认流选项的多流示例，该选项支持完全并发执行。

A Multi-threading Example

Let’s look at another example, designed to demonstrate how the new default stream behavior makes it easier to achieve execution concurrency in multi-threaded applications. The following example creates eight POSIX threads, and each thread calls our kernel on the default stream and then synchronizes the default stream. (We need the synchronization in this example to make sure the profiler gets the kernel start and end timestamps before the program exits.)

另一个示例旨在演示新的默认流，如何使在多线程应用程序中更容易实现执行并发。下面的示例创建八个POSIX线程，每个线程在默认流上调用内核，然后同步默认流。（需要进行同步，确保事件控制器在程序退出之前，获得内核的开始和结束时间戳记。）

#include <pthread.h>

#include <stdio.h>

const int N = 1 << 20;

__global__ void kernel(float *x, int n)

{

int tid = threadIdx.x + blockIdx.x * blockDim.x;

for (int i = tid; i < n; i += blockDim.x * gridDim.x) {

x[i] = sqrt(pow(3.14159,i));

}

void *launch_kernel(void *dummy)

{

float *data;

cudaMalloc(&data, N * sizeof(float));

kernel<<<1, 64>>>(data, N);

cudaStreamSynchronize(0);

return NULL;

}

int main()

{

const int num_threads = 8;

pthread_t threads[num_threads];

for (int i = 0; i < num_threads; i++) {

if (pthread_create(&threads[i], NULL, launch_kernel, 0)) {

fprintf(stderr, "Error creating threadn");

return 1;

}

for (int i = 0; i < num_threads; i++) {

if(pthread_join(threads[i], NULL)) {

fprintf(stderr, "Error joining threadn");

return 2;

}

cudaDeviceReset();

return 0;

}

不进行任何编译来测试旧版默认流的行为。

nvcc ./pthread_test.cu -o pthreads_legacy

当在nvvp中运行此命令时，看到单个流，即默认流，其中所有内核启动均已序列化，如图3所示。

图3：具有旧式默认流行为的多线程示例：所有八个线程都已序列化。

使用新的每线程默认流选项进行编译。

nvcc --default-stream per-thread ./pthread_test.cu -o pthreads_per_thread

图4显示了使用每个线程的默认流时，每个线程会自动创建一个新流，并且它们不会同步，因此所有八个线程的内核同时运行。

图4：具有每个线程默认流的多线程示例：来自所有八个线程的内核同时运行。

Tips提示

进行并发编程时，还需要记住一些其它事项。

切记：对于每个线程的默认流，就同步和并发而言，每个线程中的默认流的行为与常规流相同。对于旧式默认流，情况并非如此。
该--default-stream选项适用于每个编译单元，确保将其应用于nvcc需要它的所有命令行。
cudaDeviceSynchronize()继续使用新的每线程默认流选项同步设备上的所有内容。如果只想同步单个流，使用cudaStreamSynchronize(cudaStream_t stream)，如第二个示例中所示。
从CUDA 7开始，还可以使用句柄显式访问每个线程的默认流cudaStreamPerThread，并且可以使用句柄访问旧式默认流cudaStreamLegacy。注意，cudaStreamLegacy碰巧将它们混合在程序中，则仍与每个线程默认流进行隐式同步。
可以通过将cudaStreamNonBlocking标志传递到cudaStreamCreate()来创建不与旧式默认流同步的非阻塞流。