Percolator

Percolator_百度百科 https://baike.baidu.com/item/Percolator/3772109

英 [ˈpɜ:kəleɪtə(r)]美 [ˈpɚkəˌletɚ]

n.过滤器，抽出器。

Percolator是由谷歌推出的，在海量数据(PB级)上实现增量计算的平台。它使得在已有的结果集上进行小粒度的更新(small updates)更加快速。

Percolator不是对现有的全量计算的替代；不能分解的计算应该由mapreduce处理，而不是由Percolator处理；Percolator适合处理的对一致性要求强烈的计算，否则bigtable就能处理；Percolator适合处理海量的数据，否则现有的DBMS就能处理。

在google内部，使用到Percolator的产品有web indexing system 和 render pages into images。 [1] 

 

外文名

Percolator

性    质

平台

推出机构

谷歌

用    途

在海量数据(PB级)上实现增量计算

基本信息

编辑

Google在新一代内容索引系统中放弃了MapReduce，替代者是尚不为人知的分布式数据处理系统Percolator。 　The Register报道，Percolator是一种增量处理平台，它能持续更新索引系统，无需从头重新处理一遍整个系统。Google的工程师计划在下个月举行的年度USENIX Symposium 会议上公布Percolator相关论文。为了提高效率，MapReduce和其它批量处理系统创造了大数据批量，因此无法处理单个小规模的数据更新。Percolator系统便是为了解决这一问题，它能对一个大数据集增量处理更新。用Percolator替代MapReduce，每天处理相同数量的文档，能在搜索结果中将文档平均年龄（average age）减少50%。

简介

编辑

Percolator是由谷歌推出的，在海量数据(PB级)上实现增量计算的平台。它使得在已有的结果集上进行小粒度的更新(small updates)更加快速。

Percolator不是对现有的全量计算的替代；不能分解的计算应该由mapreduce处理，而不是由Percolator处理；Percolator适合处理的对一致性要求强烈的计算，否则bigtable就能处理；Percolator适合处理海量的数据，否则现有的DBMS就能处理。

在google内部，使用到Percolator的产品有web indexing system 和 render pages into images。

设计

编辑

Percolator是基于bigtable的。另外，Percolator还基于另外两个服务：提供严格递增的时间戳的timestamp oracle服务和提供分布式锁的chubby服务。

实现Percolator有两个要素。第一是事务，事务保证了数据的一致性。第二是observer(类似于DBMS中的触发器)，observer扫描表中的数据并触发事务。 [1] 

事务

编辑

Percolator是通过快照隔离(Snapshot isolation)实现事务的，多版本数据是快照隔离的必要条件，幸运的是bigtable可以通过时间戳来支持多版本的数据。 [1]