共享内存Distributed Memory 与分布式内存Distributed Memory

我们经常说到的多核处理器，是指一个处理器（CPU）上有多个处理核心（CORE），共享内存多核系统我们可以将CPU想象为一个密封的包，在这个包内有多个互相连接的CORES，每个CORE共享一个主存，所有的处理核心都可以访问主存。

分布式内存系统是由多个处理器(CPU)组成，每个处理器可以位于不同的计算机上，并且都有自己私有的内存。MPI（message passing interface）是运行在分布式计算机系统上的并行应用程序所使用的最流行的通信协议。在分布式计算机系统中，当某个处理器上的作业需要远程数据时，这个作业需要通过通信信道与远程处理器进行通信（此时，就用到了MPI）。因此MPI主要关注的是帮助开发在集群上运行的应用程序。

在共享内存的多核系统中，MPI会带来没有必要的额外开销，因为所有的内核都可以访问主存，所以没有必要发送消息。