GraphLab GraphLab和MapReduce的区别

https://turi.com/

GraphLab和MapReduce的区别

https://baike.baidu.com/item/GraphLab/16423125

1. 2. GraphLab和MapReduce的区别

 

GraphLab 的出现不是对MapReduce 算法的替代，相反，GraphLab 借鉴了MapReduce 的思想，将MapReduce 并行计算模型推广到了对数据重叠性、数据依赖性和迭代型算法适用的领域。本质上，GraphLab 填补了高度抽象的MapReduce 并行计算模型和底层消息传递、多线程模型（如MPI 和PThread）之间的空隙。

当前流行的并行计算框架MapReduce 将并行计算过程抽象为两个基本操作，即map 操作和reduce 操作，在map 阶段将作业分为相互独立的任务在集群上进行并行处理，在reduce 阶段将map 的输出结果进行合并得到最终的输出结果。GraphLab 模拟了MapReduce 中的抽象过程。对MapReduce 的map 操作，通过称为更新函数（Update Function）的过程进行模拟，更新函数能够读取和修改用户定义的图结构数据集。用户提供的数据图代表了程序在内存中和图的顶点、边相关联的内存状态，更新函数能够递归地触发更新操作，从而使更新操作作用在其他图节点上进行动态的迭代式计算。GraphLab 提供了强大的控制原语，以保证更新函数的执行顺序。GraphLab 对MapReduce 的reduce 操作也通过称为同步操作（Sync Operation）的过程进行模拟。同步操作能够在后台计算任务进行的过程中执行合并（Reductions），和GraphLab 提供的更新函数一样，同步操作能够同时并行处理多条记录，这也保证了同步操作能够在大规模独立环境下运行。