https://www2.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing Matei Zaharia, Tathagata Das, Haoyuan Li, Timothy Hunter, Scott Shenker, Ion Stoica University of Californi…
Discretized Streams: An Efficient and Fault-Tolerant Model for Stream Processing on Large Clusters   当前的流处理方案, Yahoo!'s S4, Twitter's Storm, 都是采用传统的"record at-a-time"处理模式, 当收到一条record, 或者更新状态, 或者产生新的record 问题是, 在使用这些方案的时候, 用户需要考虑的东西很多, 比如 Fault…
这两天在Qtcreator上编译程序的时候莫名其妙的出现了FTH: (7156): *** Fault tolerant heap shim applied to current process. This is usually due to previous crashes. ***的问题,清除掉所有的文件,重新qmake和构建都不能解决这个问题. 有人说修改注册表中HKEY_LOCAL_MACHINE\Software\Microsoft\FTH\Enabled的值为0,然而并没有什么用处.…
要想容错,该怎么办? 父actor首先要获知子actor的失败状态,然后确定该怎么办, “怎么办”这回事叫做“supervisorStrategy".   // Restart the storage child when StorageException is thrown.   // After 3 restarts within 5 seconds it will be stopped.   override val supervisorStrategy = OneForOneStrate…
这个问题偶尔碰到两次,现在又遇上了,解决办法如下: 打开注册表,设置HKLM\Software\Microsoft\FTH\Enabled 为0 打开CMD,运行Rundll32.exe fthsvc.dll,FthSysprepSpecialize 参考http://msdn.microsoft.com/en-us/library/dd744764…
相当长一段时间以来,大数据社区已经普遍认识到了批量数据处理的不足.很多应用都对实时查询和流式处理产生了迫切需求.最近几年,在这个理念的推动下,催生出了一系列解决方案,Twitter Storm,Yahoo S4,Cloudera Impala,Apache Spark和Apache Tez纷纷加入大数据和NoSQL阵营.本文尝试探讨流式处理系统用到的技术,分析它们与大规模批量处理和OLTP/OLAP数据库的关系,并探索一个统一的查询引擎如何才能同时支持流式.批量和OLAP处理. 在Grid Dy…
Introducing Kafka Streams: Stream Processing Made Simple 这是Jay Kreps在三月写的一篇文章,用来介绍Kafka Streams.当时Kafka Streams还没有正式发布,所以具体的API和功能和0.10.0.0版(2016年6月发布)有所区别.但是Jay Krpes在这简文章里介绍了很多Kafka Streams在设计方面的考虑,还是很值得一看的. 以下的并不会完全按照原文翻译,因为那么搞太累了……这篇文件的确很长,而且Jay…
Introducing Kafka Streams: Stream Processing Made Simple 这是Jay Kreps在三月写的一篇文章,用来介绍Kafka Streams.当时Kafka Streams还没有正式发布,所以具体的API和功能和0.10.0.0版(2016年6月发布)有所区别.但是Jay Krpes在这简文章里介绍了很多Kafka Streams在设计方面的考虑,还是很值得一看的. 以下的并不会完全按照原文翻译,因为那么搞太累了……这篇文件的确很长,而且Jay…
The speed at which data is generated, consumed, processed, and analyzed is increasing at an unbelievably rapid pace. Social media, the Internet of Things, ad tech, and gaming verticals are struggling to deal with the disproportionate size of data set…
本文是作者在充分阅读和理解Yahoo!最新发布的技术论文<S4:Distributed Stream Computing Platform>的基础上,所做出的知识分享. S4是Yahoo!在2010年10月开源的一套通用.分布式.可扩展.部分容错.具备可插拔功能的平台.这套平台主要是为了方便开发者开发处理流式数据(continuous unbounded streams of data)的应用.项目官方网站为:http://s4.io/.同时,S4的开发者也发表了一篇技术论文<S4:Di…