0. 背景 最近我在做流式实时分布式计算系统的架构设计,而正好又要参加CSDN博文大赛的决赛.本来想就写Spark源码分析的文章吧.但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够.因此,我将最近一直在做的系统架构的思路整理出来,形成此文.为什么要参考Storm和Spark,因为没有参照效果可能不会太好,尤其是对于Storm和Spark由了解的同学来说,可能通过对比,更能体会到每个具体实现背后的意义. 本文对流式系统出现的背景,特点,数据HA,服务HA,节点间和计算逻辑间…

Spark Streaming介绍 Spark Streaming概述 Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. 它可以非常容易的构建一个可扩展.具有容错机制的流式应用. 对接很多的外部数据源 Kafka.Flume.Twitter.ZeroMQ和简单的TCP套接字(socket)等等 Spark Streaming特性 1.易用性 可以像编写离线批处理一样去编写流…

SparkStreaming Spark Streaming类似于Apache Storm,用于流式数据的处理.Spark Streaming有高吞吐量和容错能力强等特点.Spark Streaming支持的数据源有很多,例如:Kafka.Flume.Twitter.ZeroMQ和简单的TCP套接字等等.数据输入后可以用Spark的高度抽象操作如:map.reduce.join.window等进行运算.而结果也能保存在很多地方,如HDFS,数据库等. 特性 1.易用性 可以像编写离线批处理一样去…

随着对spark的了解,有时会觉得spark就像一个宝盒一样时不时会出现一些难以置信的新功能.每一个新功能被挖掘,就可以使开发过程变得更加便利一点.甚至使很多不可能完成或者完成起来比较复杂的操作,变成简单起来.有些功能是框架专门开放给用户使用,有些则是框架内部使用但是又对外暴露了接口,用户也可以使用的功能. 今天和大家分享的是两个监听器SparkListener和streamingListener,由于这两个监听器的存在使得很多功能的开发变得轻松很多,也使很多技术实现变得轻便很多. 结合我的使用…

在流式计算过程中,难免会连接第三方存储平台(redis,mysql...).在操作过程中,大部分情况是在foreachPartition/mapPartition算子中做连接操作.每一个分区只需要连接一次第三方存储平台就可以了.假如,当前streaming有100分区,当前流式计算宫分配了20个cpu,有4个cpu负责接收数据.那么,在一个批次中一共需要对第三方平台创建100次连接,同时最大并行连接第三方平台个数20-4=16个.假如30s一个批次,一天就需要频繁释放连接24*60*60/2=4…

Spark的核心是建立在统一的抽象RDD之上,使得Spark的各个组件可以无缝进行集成,在同一个应用程序中完成大数据计算任务.RDD的设计理念源自AMP实验室发表的论文<Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing>. RDD设计背景 在实际应用中,存在许多迭代式算法(比如机器学习.图算法等)和交互式数据挖掘工具,这些应用场景的共同之处是,不同计算阶段之间…

http://www.jianshu.com/p/13941129c826 a.cursor游标式分页 select * from table where id >cursor limit pageSize 优点: 1).能够避免数据重复/遗漏 2).limit性能不会cursor数值大小影响,性能稳定缺点: 1).适用于只是按照时间追加的方式的简单排序…

Hadoop的高吞吐,海量数据处理的能力使得人们可以方便地处理海量数据.但是,Hadoop的缺点也和它的优点同样鲜明——延迟大,响应缓慢,运维复杂. 有需求也就有创造,在Hadoop基本奠定了大数据霸主地位的时候,很多的开源项目都是以弥补Hadoop的实时性为目标而被创造出来.而在这个节骨眼上Storm横空出世了. Storm带着流式计算的标签华丽丽滴出场了,看看它的一些卖点: 分布式系统:可横向拓展,现在的项目不带个分布式特性都不好意思开源. 运维简单:Storm的部署的确简单.虽然没有Mon…

Hadoop的高吞吐,海量数据处理的能力使得人们可以方便地处理海量数据.但是,Hadoop的缺点也和它的优点同样鲜明——延迟大,响应缓慢,运维复杂. 有需求也就有创造,在Hadoop基本奠定了大数据霸主地位的时候,很多的开源项目都是以弥补Hadoop的实时性为目标而被创造出来.而在这个节骨眼上Storm横空出世了. Storm带着流式计算的标签华丽丽滴出场了,看看它的一些卖点: 分布式系统:可横向拓展,现在的项目不带个分布式特性都不好意思开源. 运维简单:Storm的部署的确简单.虽然没有Mon…

通常使用Spark的流式框架如Spark Streaming,做无状态的流式计算是非常方便的,仅需处理每个批次时间间隔内的数据即可,不需要关注之前的数据,这是建立在业务需求对批次之间的数据没有联系的基础之上的. 但如果我们要跨批次做一些数据统计,比如batch是3秒,但要统计每1分钟的用户行为,那么就要在整个流式链条中维护一个状态来保存近1分钟的用户行为. 那么如果维护这样一个状态呢?一般情况下,主要通过以下几种方式: 1. spark内置算子:updateStateByKey.mapWithS…