老李分享： 并行计算基础&编程模型与工具 1

老李分享： 并行计算基础&编程模型与工具

 

在当前计算机应用中，对高速并行计算的需求是广泛的，归纳起来，主要有三种类型的应用需求：

1. 计算密集(Computer-Intensive)型应用，如大型科学工程计算与数值模拟；
2. 数据密集(Data-Intensive)型应用，如数字图书馆、数据仓库、数据挖掘和计算可视化等；
3. 网络密集(Network-Intensive)型应用，如协同工作、遥控和远程医疗诊断等。

并行编程模型主要有三种：适用于共享内存的多线程编程模型，适用于分布内存的消息传递编程模型，混合编程模型。

在计算机系统中，处理器永远都是访问离自己最近的存储空间速度最快，比如L1 cache->L2->本地节点内存->远程节点内存/磁盘，而各层次的存储容量跟访问速度恰恰相反。并行计算中，并行算法的设计是决定性能的关键，有些问题天生具有良好的并行性，比如待处理数据集合可以被较好的去耦，而有些问题则需要复杂的公式推导和转换以适合并行计算。同时，还要避免计算过程中可能出现的瓶颈，任务划分要充分考虑负载均衡特别是动态负载均衡，“对等”的思想是维护负载均衡和保持可扩展性的关键之一，即在设计时尽量避免使用Master/Slave和Client/Server的模式。

1.并行机的体系

并行机的发展从SIMD到MIMD，衍生除了四种经典的体系结构模式：SMP（Symmetric Shared-Memory Multiprocessor，比如常用的多核机，可扩展性较差，处理器数目8~16个），DSM（Distributed Shared-Memory，物理存储器分布于各个处理节点，而逻辑地址空间采用统一编址，因此属于共享存储，访存时间受限于网络带宽），MPP（Massive Parallel Processor，由成百上千台处理机组成的大规模系统，国家综合实力的象征。。），机群系统（Cluster，互联的同构或异构的独立计算机的集合体，每个节点都有自己的存储器、I/O、操作系统，可以作为单机使用，节点之间采用商品网络互联，灵活性较强）。

硬件：多核CPU(Intel, AMD)， GPU(Nvidia)， CellBe（Sony&Toshiba&IBM -> game，包括一个主处理单元和8个协处理单元）

概念：数据总线 地址总线 控制总线 （寄存器）位数