GPU架构

GPU特别适用于 密集计算,高度可并行计算,图形学

晶体管主要被用于 执行计算,而不是缓存数据,控制指令流

GPU计算的历史

2001/2002 —— 研究人员把GPU当做数据并行协处理器

GPGPU领域从此诞生

2007—— NVIDIA 发布 CUDA

CUDA 统一计算设备架构

GPGPU发展成 GPU Computing

2008—— Khronos 发布OpenCL 规范

CUDA术语

Host——主机端,通常指CPU,采用标准C语言编程,C++,Python

Device——设备端,通常指GPU(数据可并行)

采用标准C的扩展语言编程

Host和Device拥有各自的存储器

CUDA编程包括主机端和设备端两部分代码

Kernel——数据并行处理函数(核函数),Kernel是指执行在GPU上的完整代码

通过调用Kernel函数在设备端创建轻量级线程,线程由硬件负责创建并调度

函数声明

__global__  void KernelFunc()  只能从主机端调用,在设备上执行,入口函数

__device__  float DeviceFunc()       设备             设备

__host__  float HostFunc()            主机             主机

__global__ 返回值类型必须是 void

__device__ 曾经默认内联,现在有些变化

__device__ 和 __host__ 可以同时使用


CUDA/GPU编程模型

CPU/GPU互动模型

GPU线程组织模型

GPU存储模型

基本的编程问题

CPU-GPU交互

各自的物理内存

通过PCIE总线互连

交互开销较大

并行编程模型

共享存储模型

线程模型

消息传递模型

数据并行模型

具体实例

OpenMp

MPI

SPMD:单指令多数据相似,每一个代码段处理多个数据

MPMD:多指令多数据

线程层次

Grid——一维或多维线程块(block)

一维或二维

Block——一组线程

一维,二维或三维

一个 Grid 里的每个 Block 的线程数是一样的

CUDA存储器类型(访存速度由大到小)

Register     寄存器

shared memory    共享内存

local memory   局部存储器

global memory    全局存储器

constant memory 常量存储器

texture memory    纹理存储器

内存模型

变量声明                                              存储器                作用域               生命期

必须是单独的自动变量不能是数组   register             thread               kernel

自动变量数组                                        local                  thread               kernel

__shared__ int sharedVar                shared               block                kernel

__device__ int globalVar                  global                grid                   application

__constant__ intconstantVar          constant           grid                    application

global 和 constant 变量

Host 可以通过以下函数访问

cudaGetSymbolAddress()

cudaGetSymbolSize()

cudaMemcpyToSymbol()

cudaMemcpyFromSymbol()

Constants 变量必须在函数外声明

向量数据类型

char [1-4], uchar[1-4]

short [1-4],

int [1-4],

long [1-4],

longlong [1-4],

float [1-4]

double1, double2

同时适用 host 和 device 代码

通过make_<type name> 构造

int2 i2 = make_int2(1,2);

float4 f4 = make_float(1.0f,2.0f,3.0f,4.0f);

通过 .x  .y  .z  和  .w 访问

int2 i2 = make_int2(1,2);

int x = i2.x;

int y = i2.y;

数学函数

部分函数列表

sqrt,rsqrt

exp,log

sin,cos,tan,sincos

asin,acos,atan2

trunc,ceil,floor

Intrinsic function 内建函数

仅面向 device 设备端

更快,但精度降低

以__为前缀

__exp,__log,__sin,__pow.....

CUDA编程前言的更多相关文章

  1. CUDA 编程的基本模式

    reproduced from: http://www.cnblogs.com/muchen/p/6306747.html 前言 本文将介绍 CUDA 编程的基本模式,所有 CUDA 程序都基于此模式 ...

  2. 不同版本CUDA编程的问题

    1 无法装上CUDA的toolkit 卸载所有的NVIDIA相关的app,包括NVIDIA的显卡驱动,然后重装. 2之前的文件打不开,one or more projects in the solut ...

  3. cuda编程基础

    转自: http://blog.csdn.net/augusdi/article/details/12529247 CUDA编程模型 CUDA编程模型将CPU作为主机,GPU作为协处理器(co-pro ...

  4. CUDA学习笔记(一)——CUDA编程模型

    转自:http://blog.sina.com.cn/s/blog_48b9e1f90100fm56.html CUDA的代码分成两部分,一部分在host(CPU)上运行,是普通的C代码:另一部分在d ...

  5. CUDA编程

    目录: 1.什么是CUDA 2.为什么要用到CUDA 3.CUDA环境搭建 4.第一个CUDA程序 5. CUDA编程 5.1. 基本概念 5.2. 线程层次结构 5.3. 存储器层次结构 5.4. ...

  6. CUDA编程-(1)Tesla服务器Kepler架构和万年的HelloWorld

    结合CUDA范例精解以及CUDA并行编程.由于正在学习CUDA,CUDA用的比较多,因此翻译一些个人认为重点的章节和句子,作为学习,程序将通过NVIDIA K40服务器得出结果.如果想通过本书进行CU ...

  7. cuda编程(一)

    环境安装和例程运行 显卡主要有两家,ATI.NVIDIA,简称A卡和N卡.随着GPU计算能力的上升,采用GPU并行计算来加速的应用越来越多. Nvidia创立人之一,黄仁勋(Jen-Hsun Huan ...

  8. CUDA编程入门,Dim3变量

    dim3是NVIDIA的CUDA编程中一种自定义的整型向量类型,基于用于指定维度的uint3. 例如:dim3 grid(num1,num2,num3): dim3类型最终设置的是一个三维向量,三维参 ...

  9. CUDA编程(六)进一步并行

    CUDA编程(六) 进一步并行 在之前我们使用Thread完毕了简单的并行加速,尽管我们的程序运行速度有了50甚至上百倍的提升,可是依据内存带宽来评估的话我们的程序还远远不够.在上一篇博客中给大家介绍 ...

随机推荐

  1. Fiddler抓取https原理

    首先fiddler截获客户端浏览器发送给服务器的https请求, 此时还未建立握手.第一步, fiddler向服务器发送请求进行握手, 获取到服务器的CA证书, 用根证书公钥进行解密, 验证服务器数据 ...

  2. SQL Server存储过程中变量使用函数调用变量

    USE  DB名称GO SET ANSI_NULLS ONGOSET QUOTED_IDENTIFIER ONGO . CREATE   PROCEDURE     存储过程名 @formID   n ...

  3. Python之网格搜索与检查验证-5.2

    一.网格搜索,在我们不确定超参数的时候,需要通过不断验证超参数,来确定最优的参数值.这个过程就是在不断,搜索最优的参数值,这个过程也就称为网格搜索. 二.检查验证,将准备好的训练数据进行平均拆分,分为 ...

  4. linux 基础指令

    df -h 查看磁盘空间 root@ubuntu:/etc# df -h Filesystem Size Used Avail Use% Mounted on udev 970M 0 970M 0% ...

  5. 日常hive遇到的问题

    1 hive中的复杂数据类型数据如何导入(array) 创建hive表 create table temp.dws_search_by_program_set_count_his( program_s ...

  6. MonkeyRunner——Mac

    1. MonkeyRunner介绍: Android的SDK中集成了三个可用来进行自动化测试的工具:Monkey.MonkeyRunner和Robotium.这三个测试工具都是基于黑盒测试. Monk ...

  7. Python 自己实现可迭代对象

    import time from collections import Iterable from collections import Iterator class Classmate(object ...

  8. Qt QPushButton 背景色

    正常状态:黑底(背景色),白字(前景色),圆角,向外凸起 鼠标停留:背景和前景反色 鼠标按下:背景色变为淡蓝色,向内凹陷 ui->pushButton->setStyleSheet(&qu ...

  9. Spring+Dubbo+TestNG接口测试初探

    最近因工作原因,需要测试dubbo接口,通过公司同事写的框架,再结合度娘的帮助,自己做了一些总结记录. 通过下文意在说明如何搭建一个spring + dubbo + testng的测试环境,并完成一个 ...

  10. JAVA 查找某个目录是否存在,如果存在,打印出来

    题目:现有如下目录结构,查找结构中是否存在Directory11,如果存在,打印出来 |---test |---|---Directory1 |---|---|---Directory11 |---| ...