Discretized Streams: An Efficient and Fault-Tolerant Model for Stream Processing on Large Clusters   当前的流处理方案, Yahoo!'s S4, Twitter's Storm, 都是采用传统的"record at-a-time"处理模式, 当收到一条record, 或者更新状态, 或者产生新的record 问题是, 在使用这些方案的时候, 用户需要考虑的东西很多, 比如 Fault…

来自 Confluent 的 Confluent Platform 3.0 消息系统支持使用 Kafka Streams 实现实时的数据处理,这家公司也是在背后支撑 Apache Kafka 消息框架的公司,它近日宣布 最新的开源平台已经达到了通用发布(general availability)版本.Confluent Platform可以围绕Apache Kafka创建可扩展的数据平台,Apache Kafka是一个实时的.分布式的.具有容错功能的消息队列,它能够扩展至非常大量的消息. Kaf…

Introducing Kafka Streams: Stream Processing Made Simple 这是Jay Kreps在三月写的一篇文章,用来介绍Kafka Streams.当时Kafka Streams还没有正式发布,所以具体的API和功能和0.10.0.0版(2016年6月发布)有所区别.但是Jay Krpes在这简文章里介绍了很多Kafka Streams在设计方面的考虑,还是很值得一看的. 以下的并不会完全按照原文翻译,因为那么搞太累了……这篇文件的确很长,而且Jay…

Introducing Kafka Streams: Stream Processing Made Simple 这是Jay Kreps在三月写的一篇文章,用来介绍Kafka Streams.当时Kafka Streams还没有正式发布,所以具体的API和功能和0.10.0.0版(2016年6月发布)有所区别.但是Jay Krpes在这简文章里介绍了很多Kafka Streams在设计方面的考虑,还是很值得一看的. 以下的并不会完全按照原文翻译,因为那么搞太累了……这篇文件的确很长,而且Jay…

https://www2.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing Matei Zaharia, Tathagata Das, Haoyuan Li, Timothy Hunter, Scott Shenker, Ion Stoica University of Californi…

欢迎转载,转载请注明出处,徽沪一郎. Spark Streaming能够对流数据进行近乎实时的速度进行数据处理.采用了不同于一般的流式数据处理模型,该模型使得Spark Streaming有非常高的处理速度,与storm相比拥有更高的吞能力. 本篇简要分析Spark Streaming的处理模型,Spark Streaming系统的初始化过程,以及当接收到外部数据时后续的处理步骤. 系统概述 流数据的特点 与一般的文件(即内容已经固定)型数据源相比,所谓的流数据拥有如下的特点 数据一直处在变化中…

简介 正如数据流支持原始数据类型的I / O一样,对象流支持对象的I / O.标准类中的大多数但不是全部都支持对象的序列化.那些实现标记接口Serializable的那些. 对象流类是ObjectInputStream和ObjectOutputStream.这些类实现了ObjectInput和ObjectOutput,它们是DataInput和DataOutput的子接口.这意味着数据流中涵盖的所有原始数据I / O方法也在对象流中实现.因此,对象流可以包含原始值和对象值的混合. ObjectS…

我们迄今为止看到的大多数示例都使用无缓冲的I / O.这意味着每个读或写请求都由底层操作系统直接处理.这使程序效率变得很低,因为每个这样的请求经常触发磁盘访问,网络活动或一些相对昂贵的其他操作. 为了减少这种开销,Java平台实现了缓冲的I / O流.缓冲输入流从称为缓冲区的存储区读取数据:仅当缓冲区为空时才调用本地输入API.类似地,缓冲输出流将数据写入缓冲区,仅当缓冲区已满时才调用本地输出API. 程序可以使用我们已经使用过多次的包装习惯将无缓冲流转换为缓冲流,其中将无缓冲流对象传递给缓冲流…

简介 Java平台使用Unicode约定存储字符值.字符流I / O自动将此内部格式转换为本地字符集.在西方,本地字符集通常是ASCII的8位超集. 对于大多数应用,具有字符流的I / O并不比具有字节流的I / O复杂.使用流类完成输入和输出自动转换为本地字符集和从本地字符集转换.使用字符流代替字节流的程序自动适应本地字符集,并可以进行国际化 - 所有这些无需程序员额外的工作. 如果国际化不是一个优先事项,您可以简单地使用字符流类,而不需要重视字符集问题.但是,如果国际化成为一个优先事项,您的…

转自:http://blog.csdn.net/colorant/article/details/8255958 ==是什么 == 目标Scope(解决什么问题) 在大规模的特定数据集上的迭代运算或重复查询检索 官方定义 aMapReduce-like cluster computing framework designed for low-latency iterativejobs and interactive use from an interpreter 个人理解 首先,MapReduc…