【CUDA 基础】3.2 理解线程束执行的本质(Part I)

title: [CUDA 基础]3.2 理解线程束执行的本质(Part I) categories: CUDA Freshman tags: 线程束分化 CUDA分支 toc: true date: 2018-03-14 21:31:16 Abstract: 本文介绍CUDA执行模型最核心的部分,线程束的执行实质第一部分 Keywords: CUDA分支,线程束分化开篇废话我们前面已经大概的介绍了CUDA执行模型的大概过程,包括线程网格,线程束,线程间的关系,以及硬件的大概结构,例如SM的大…

【CUDA 基础】5.6 线程束洗牌指令

title: [CUDA 基础]5.6 线程束洗牌指令 categories: - CUDA - Freshman tags: - 线程束洗牌指令 toc: true date: 2018-06-06 19:53:12 Abstract: 本文介绍线程束洗牌指令的用法 Keywords: 线程束洗牌指令开篇废话赶紧写博客,少说废话. 前面介绍了共享内存,常量内存,只读内存的使用,今天我们来研究一个比较特殊的机制,名字也很特殊,叫做线程束洗牌指令. 支持线程束洗牌指令的设备最低也要3.0以上,…

【CUDA 基础】6.2 并发内核执行

title: [CUDA 基础]6.2 并发内核执行 categories: - CUDA - Freshman tags: - 流 - 事件 - 深度优先 - 广度优先 - 硬件工作队列 - 默认流阻塞行为 toc: true date: 2018-06-18 22:04:08 Abstract: 本文介绍内核的并发执行,以及相关的知识 Keywords: 流,事件,深度优先,广度优先,硬件工作队列,默认流阻塞行为开篇废话没有废话,继续前面的内容,上文中我们说到了流,事件和同步等的概念,以…

【CUDA 基础】3.3 并行性表现

title: [CUDA 基础]3.3 并行性表现 categories: - CUDA - Freshman tags: - nvprof toc: true date: 2018-04-15 21:17:52 Abstract: 本文主要通过nvprof工具来分析核函数的执行效率(资源利用率) Keywords: nvprof 开篇废话继续更新CUDA,前面为了加速概率论的学习停了一段CUDA,从今天开始继续CUDA和数学分析的更新,每一篇都写一点废话就相当于自己的日记了,之前很佩服那些写…

【并行计算-CUDA开发】CUDA线程、线程块、线程束、流多处理器、流处理器、网格概念的深入理解

GPU的硬件结构,也不是具体的硬件结构,就是与CUDA相关的几个概念:thread,block,grid,warp,sp,sm. sp: 最基本的处理单元,streaming processor 最后具体的指令和任务都是在sp上处理的.GPU进行并行计算,也就是很多个sp同时做处理 sm:多个sp加上其他的一些资源组成一个sm, streaming multiprocessor. 其他资源也就是存储资源,共享内存,寄储器等. warp:GPU执行程序时的调度单位,目前cuda的warp的大小…

【CUDA 基础】3.1 CUDA执行模型概述

title: [CUDA 基础]3.1 CUDA执行模型概述 categories: CUDA Freshman tags: CUDA SM SIMT SIMD Fermi Kepler toc: true date: 2018-03-12 23:20:41 Abstract: 本文介绍CUDA执行模型,只比硬件高一层的抽象 Keywords: CUDA SM,SIMT,SIMD,Fermi,Kepler 开篇废话今天晚上本来都该睡觉了,但是还是决定把这篇文章写出来,毕竟昨天就没写. 这一篇开…

【CUDA 基础】2.3 组织并行线程

title: [CUDA 基础]2.3 组织并行线程 categories: CUDA Freshman tags: Thread Block Grid toc: true date: 2018-03-09 21:00:38 Abstract: 本文介绍CUDA模型中的线程组织模式 Keywords: Thread,Block,Grid 开篇废话一天写两段废话也是有点累了,天天写废话,后面可以开个系列叫做废话.写一句吧,做研究别有民科精神就好,用自己的理论A证明自己的理论B,在用理论B证明理论…

前端知识体系：JavaScript基础-原型和原型链-理解JavaScript的执行上下文栈，可以应用堆栈信息快速定位问题

理解JavaScript的执行上下文栈,可以应用堆栈信息快速定位问题(原文文档) 1.什么是执行上下文: 简而言之,执行上下文就是当前JavaScript代码被解析和执行时所在环境的抽象概念,JavaScript中运行任何的代码都是在执行上下文中运行. 2.执行上下文类型: 执行上下文总共有三种类型: 1)全局执行上下文这是默认的.最基础的执行上下文.不在任何函数中的代码都位于全局执行上下文中.它做了两件事:1. 创建一个全局对象,在浏览器中这个对象就是window对象.2. 将this指针…

【CUDA 基础】6.3 重叠内和执行和数据传输

title: [CUDA 基础]6.3 重叠内和执行和数据传输 categories: - CUDA - Freshman tags: - 深度优先 - 广度优先 toc: true date: 2018-06-20 20:10:09 Abstract: 本文介绍如何利用流的重叠来隐藏主机到设备的数据传输延迟 Keywords: 深度优先,广度优先开篇废话热烈庆祝上证跌破3000点.如果股市是一个国家经济最好的衡量标准之一的话,我们的中国梦该醒醒了. 前面一节我们主要研究多个内核在不同流中的…

【CUDA 基础】5.2 共享内存的数据布局

title: [CUDA 基础]5.2 共享内存的数据布局 categories: - CUDA - Freshman tags: - 行主序 - 列主序 toc: true date: 2018-06-02 21:01:03 Abstract: 本文主要研究几个关于共享内存的例子,以此来了解共享内存的性质,为我们的核函数加速 Keywords: 行主序,列主序,填充与无填充,从线程索引体映射数据元素开篇废话同一个东西,A花大工夫做到极致,成本100,售价200:C模仿A的做法快速的通过仿制…

【CUDA 基础】4.3 内存访问模式

title: [CUDA 基础]4.3 内存访问模式 categories: - CUDA - Freshman tags: - 内存访问模式 - 对齐 - 合并 - 缓存 - 结构体数组 - 数组结构体 toc: true date: 2018-05-03 22:08:07 Abstract: 本文介绍内存的访问过程,也就是从应用发起请求到硬件实现的完整操作过程,这里是优化内存瓶颈的关键之处,也是CUDA程序优化的基础. Keywords: 内存访问模式,对齐,合并,缓存,结构体数组,数组结构…

CUDA基础介绍

一.GPU简介 1985年8月20日ATi公司成立,同年10月ATi使用ASIC技术开发出了第一款图形芯片和图形卡,1992年4月ATi发布了Mach32图形卡集成了图形加速功能,1998年4月ATi被IDC评选为图形芯片工业的市场领导者,但那时候这种芯片还没有GPU的称号,很长的一段时间ATi都是把图形处理器称为VPU,直到AMD收购ATi之后其图形芯片才正式采用GPU的名字. NVIDIA公司在1999年发布GeForce 256图形处理芯片时首先提出GPU的概念.GPU使显卡削减了对CPU…

【CUDA 基础】5.1 CUDA共享内存概述

title: [CUDA 基础]5.1 CUDA共享内存概述 categories: - CUDA - Freshman tags: - CUDA共享内存模型 - CUDA共享内存分配 - CUDA共享内存访问 - CUDA共享内存配置 - CUDA共享内存同步 toc: true date: 2018-06-01 17:46:23 Abstract: 本文为CUDA内存的概述,介绍共享内存的模型,分配,访问,配置,同步等内容 Keywords: 模型,分配,访问,配置,同步开篇废话这里首先…

【CUDA 基础】4.4 核函数可达到的带宽

title: [CUDA 基础]4.4 核函数可达到的带宽 categories: - CUDA - Freshman tags: - 带宽 - 吞吐量 - 矩阵转置 toc: true date: 2018-05-13 12:08:02 Abstract: 本文通过矩阵转置这一个例子,调整,优化核函数,使其达到最优的内存带宽 Keywords: 带宽,吞吐量,矩阵转置开篇废话下面是废话,与本文知识无关,可以直接跳到下面红字处开始本文知识的学习. 废话继续,这两天没更新博客了,上一篇是转发的…

【CUDA 基础】4.0 全局内存

title: [CUDA 基础]4.0 全局内存 categories: - CUDA - Freshman tags: - 全局内存 - CUDA内存模型 - CUDA内存管理 - 全局内存编程 - 全局内存访问模式 - 全局内存数据布局 - 统一内存编程 - 提高内存吞吐量 toc: true date: 2018-04-28 09:43:50 Abstract: 本文为学习CUDA编程的第四章的概要,主要介绍第四章研究的对象 Keywords: 全局内存,CUDA内存模型,CUDA内存管理…

【CUDA 基础】3.6 动态并行

title: [CUDA 基础]3.6 动态并行 categories: - CUDA - Freshman tags: - 动态并行 - 嵌套执行 - 隐式同步 toc: true date: 2018-04-24 20:57:48 Abstract: 本文介绍CUDA动态并行--在设备上运行时的网格启动新的子网格 Keywords: 动态并行,嵌套执行动态并行本文作为第三章CUDA执行模型的最后一篇介绍动态并行,书中关于动态并行有一部分嵌套归约的例子,但是我认为,这个例子应该对我们用途不…

【CUDA 基础】3.5 展开循环

title: [CUDA 基础]3.5 展开循环 categories: - CUDA - Freshman tags: - 展开归约 - 归约 - 模板函数 toc: true date: 2018-04-19 21:02:08 Abstract: 本文介绍循环展开技术,在归约的基础上继续加速. Keywords: 展开归约,归约,模板函数开篇废话博客从CSDN那边截流了一些流量,现在网站访问突然增多到让我有点不适应,于是,想想还是别总盯着流量看吧,注意文章质量,同时保证一定的更新,从数学…

【CUDA 基础】3.4 避免分支分化

- title: [CUDA 基础]3.4 避免分支分化 categories: - CUDA - Freshman tags: - 规约问题 - 分支分化 toc: true date: 2018-04-17 23:32:55 Abstract: 介绍规约问题中的分支分化问题 Keywords: 规约问题,分支分化此篇有些结果和参考书中结果相反,需要更深入的技术才能解决开篇废话我坚持写博客是因为我上次最困惑最难过的那段时间通过写博客改变了我的非常不好的情况,所以我认为写些东西梳理自己的思…

Java多线程基础：进程和线程之由来

转载: Java多线程基础:进程和线程之由来在前面,已经介绍了Java的基础知识,现在我们来讨论一点稍微难一点的问题:Java并发编程.当然,Java并发编程涉及到很多方面的内容,不是一朝一夕就能够融会贯通使用的,需要在实践中不断积累.由于并发肯定涉及到多线程,因此在进入并发编程主题之前,我们先来了解一下进程和线程的由来,这对后面对并发编程的理解将会有很大的帮助. 一.操作系统中为什么会出现进程? 说起进程的由来,我们需要从操作系统的发展历史谈起. 也许在今天,我们无法想象在很多年以前计算机是…

Java基础之多线程篇(线程创建与终止、互斥、通信、本地变量)

线程创建与终止线程创建 Thread类与Runnable接口的关系 public interface Runnable { public abstract void run(); } public class Thread implements Runnable { /* What will be run. */ private Runnable target; ...... /** * Causes this thread to begin execution; the Java Virtu…

深入理解 JS 引擎执行机制（同步执行、异步执行以及同步中的异步执行）

首先明确两点: 1.JS 执行机制是单线程. 2.JS的Event loop是JS的执行机制,深入了解Event loop,就等于深入了解JS引擎的执行. 单线程执行带来什么问题? 在JS执行中都是单线程执行,所以代码的执行可以说是自上而下,如果前一段的代码出现问题,就会导致下一段代码无法执行,对于用户而言就是卡死现象,所以在JS执行机制引出了异步执行操作. 那异步能解决什么呢问题,又会带来什么问题? 异步操作能够很好的解决上面单线程执行出现的卡死现象,但是也会产生问题,比如同时对一件事情操作,…