1.1、课程的背景

        Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么?

       Storm在大数据领域的影响已经不用多说,大数据实时性计算已经是发展趋势。目前在各大互联网、电商、电信、金融业等领域,Storm已经功不可没,被广泛应用在精准推荐、即时搜索、网站分析、监控告警、高频交易等领域。

本课程完全呈现企业实际项目,具有如下五大亮点和七大目标:

五大亮点:

    、课程中完整开发3个Storm项目,均为企业实际项目,其中一个是完全由Storm Trident开发。

       项目源码均可以直接运行,也可直接用于商用或企业。

    、每个技术均采用最新稳定版本,学完后会员可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定!让学员身价剧增!

    、搭建CDH5生态环境完整平台,且采用Cloudera Manager界面化管理CDH5平台。让Hadoop平台环境搭建和维护都变得轻而易举。

    、分享实际项目的架构设计、优劣分析和取舍、经验技巧,陡直提升学员的经验值。

    、学习完此课程,学员完全具备追求IT行业高薪的能力。

七大目标:

    、全面掌握Storm完整项目开发思路和架构设计

    、掌握Storm Trident项目开发模式

    、掌握Kafka运维和API开发、与Storm接口开发

    、掌握HighCharts各类图表开发和实时无刷新加载数据

    、熟练搭建CDH5生态环境完整平台

    、灵活运用HBase作为外部存储

    、可以做到以一己之力完成从后台开发(Storm、Kafka、Hbase开发)到前台HighCharts图表开发、Jquery运用等,所有工作一个人搞定!

 就是说可以一个人搞定淘宝双11大屏幕项目!

、Storm应用前景和课程大纲介绍

、CDH5搭建之CM5安装部署

、CDH5搭建和CM界面化集群管理

、Hadoop、HBase、Zookeeper集群管理和角色分配

、Kafka基础知识和集群搭建

、Kafka基本操作和最优设置

、Kafka Java API 简单开发测试

、storm-kafka 详解和实战案例

、JS图表框架HighCharts介绍

、HBase 快速入门

、基于HBase的Dao基类和实现类开发一

、基于HBase的Dao基类和实现类开发二

、【项目1-地区销售额】需求分析和架构设计

项目1主要技术点:

后台开发架构设计

前台开发架构设计

前后端数据实时交互

HighCharts图表开发

图表秒级无刷新实时展示

3D柱图、条形图、柱子图展示效果

、【项目1-地区销售额】Spout融合Kafka Consumer及线程安全测试

、【项目1-地区销售额】Bolt业务逻辑处理一

、【项目1-地区销售额】优化Bolt支持重启及结果数据核查

、【项目1-地区销售额】HighCharts图表开发一及Web端架构设计

、【项目1-地区销售额】HTTP长链接实现实时推送

、【项目1-地区销售额】HighCharts图表开发二及jquery运用

、【项目1-地区销售额】Web端完善和细节优化

、【项目1-地区销售额】项目发布及总结

、【项目2-省份销售排行】项目需求分析和分区Trident Spout开发

项目2为完全Storm Trident开发项目,主要技术点:

采用双纵轴图表展示效果

Storm Trident开发 

采用Storm事务处理

基于Hbase的Trident State

DRPC分布式远程调用

TopN,前N排行

、【项目2-省份销售排行】Trident 代码开发一

、【项目2-省份销售排行】Trident 代码开发二

、【项目2-省份销售排行】基于HBase存储的State运用

、【项目2-省份销售排行】双纵轴HighCharts图表开发一

、【项目2-省份销售排行】双纵轴HighCharts图表开发二

、【项目2-省份销售排行】双纵轴HighCharts图表开发三

、【项目2-省份销售排行】前台和图表交互开发和Top N实现

、【项目2-省份销售排行】Top N展示优化和项目总结

-40讲为【项目3-网站User Views数】内容,该项目会继续增加难度,

展示图形为仿股票走势图的UV数实时分时走势图。

Storm流计算之项目篇(Storm+Kafka+HBase+Highcharts+JQuery,含3个完整实际项目)的更多相关文章

  1. Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景)

    1.Storm全面.系统.深入讲解,采用最新的稳定版本Storm 0.9.0.1 :   2.注重实践,对较抽象难懂的技术点如Grouping策略.并发度及线程安全.批处理事务.DRPC.Storm ...

  2. 大数据开发实战:Storm流计算开发

    Storm是一个分布式.高容错.高可靠性的实时计算系统,它对于实时计算的意义相当于Hadoop对于批处理的意义.Hadoop提供了Map和Reduce原语.同样,Storm也对数据的实时处理提供了简单 ...

  3. 实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重

    http://lxw1234.com/archives/2018/02/901.htm

  4. 《Kafka Stream》调研:一种轻量级流计算模式

    原文链接:https://yq.aliyun.com/articles/58382 摘要: 流计算,已经有Storm.Spark,Samza,包括最近新起的Flink,Kafka为什么再自己做一套流计 ...

  5. Storm概念学习系列之什么是实时流计算?

    不多说,直接上干货! 什么是实时流计算?    1.实时流计算背景 2.实时计算应用场景 3.实时计算处理流程 4.实时计算框架 什么是实时流计算? 所谓实时流计算,就是近几年由于数据得到广泛应用之后 ...

  6. Storm 流式计算框架

    1. 简介 是一个分布式, 高容错的 实时计算框架 Storm进程常驻内存, 永久运行 Storm数据不经过磁盘, 在内存中流转, 通过网络直接发送给下游 流式处理(streaming) 与 批处理( ...

  7. Storm分布式实时流计算框架相关技术总结

    Storm分布式实时流计算框架相关技术总结 Storm作为一个开源的分布式实时流计算框架,其内部实现使用了一些常用的技术,这里是对这些技术及其在Storm中作用的概括介绍.以此为基础,后续再深入了解S ...

  8. Storm实时计算:流操作入门编程实践

    转自:http://shiyanjun.cn/archives/977.html Storm实时计算:流操作入门编程实践   Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比 ...

  9. 分布式流式处理框架:storm简介 + Storm术语解释

    简介: Storm是一个免费开源.分布式.高容错的实时计算系统.它与其他大数据解决方案的不同之处在于它的处理方式.Hadoop 在本质上是一个批处理系统,数据被引入 Hadoop 文件系统 (HDFS ...

随机推荐

  1. Ios8代码关闭输入预测问题

    自IOS8出来了输入预测问题后,有些问题也就来了比如textfield中输入邮箱的话,就会有很多空格无法去掉,当时我一直在找有没有提供什么方法可以关闭:后面有这样的一个属性可以解决输入邮箱没有空格问题 ...

  2. java 8种基本数据类型

    数值型--> 整  型:int,short,long,byte 浮点型:double,float 字符型-->char 布尔型-->boolean

  3. wcf之OperationContextScope

    作用:使用消息头向服务发送额外的信息. 1.客户端代码如下: namespace Client { class Program { static void Main(string[] args) { ...

  4. android ioctl fuzz,android 本地提权漏洞 android root

    目前正在研究android 三方设备驱动 fuzzer , 也就是下图所说的 ioctl fuzzing, 下图是由keen team nforest 大神发布: 欢迎正在研究此方面的人联系我共同交流 ...

  5. python pythonic是什么?

    原文地址:http://faassen.n--tree.net/blog/view/weblog/2005/08/06/0 注:Martijn 是 Zope 领域的专家,他为 Zope 系列产品做了许 ...

  6. TrueType和Bitmap字体的区别

    只要标签的文本从不变化,在cocos2D中渲染TrueType和bitmap字体的性能是相同的.它们都仅仅像精灵那样绘制. 如果你希望大量的标签使用相同字体,则bitmap字体将更快.因为bitmap ...

  7. Docker简单使用

    镜像是一种轻量级.可执行的独立软件包,它包含运行某个软件所需的所有内容,包括代码.运行时.库.环境变量和配置文件. 容器是镜像的运行时实例 - 实际执行时镜像会在内存中变成什么.默认情况下,它完全独立 ...

  8. Java EE之Struts2-2.5配置

    开学以来,已经三周了.Java EE却不太走心,于是,这几日空杯心态,重新学习.复习了Java SE和Java Web开发技术,然后入手Struts2.为了使用最新版本的Structs2,我去官网下载 ...

  9. Codeforces 1108D - Diverse Garland - [简单DP]

    题目链接:http://codeforces.com/problemset/problem/1108/D time limit per test 1 secondmemory limit per te ...

  10. 1-find

    查找算法 #include <stdio.h> #include <assert.h> #define FALSE 0 #if 1 //array method int fin ...