FusionInsight大数据开发---Streaming应用开发

Streaming应用开发

1. 掌握Streaming基本业务开发流
2. 熟悉Streaming常用API接口使用
3. 掌握Streaming业务设计基本原则
4. 了解Streaming应用开发环境
5. 了解CQL开发流及使用

Streaming的定义

Streaming基于开源Storm，是一个分布式、实时计算框架。Streaming在开源Storm的基础上增加了持续查询语言CQL、增强了安全性和可靠性。

• 事件驱动
• 连续查询
• 数据不存储、先计算
• 实时响应，低延迟

CQL（Continuous Query Language），持续查询语言，是一种用于实时数据流上的查询语言。
它是一种SQL-like的语言，目前主要适配Storm。
相对于SQL，CQL中增加了（时序）窗口的概念，将待处理的数据保存在内存中，进行快速的内存计算，CQL的输出结果为数据流在某一时刻的计算结果。

Streaming的适用场景
Streaming主要应用于以下几种对响应时延有严重要求的场景：

1. 实时分析：如实时日志处理，交通流分析等
2. 实时统计：如网站的实时访问统计、排序等
3. 实时推荐：如实时广告定位、事件营销等

提交拓扑
当前Streaming支持三种方式提交拓扑

1. Linux命令行提交-CMD模式
2. Eclipse远程提交-Remote模式
3. 本地模式提交-Local模式

Spout设计

1. 数据接受
2. 数据反序列化
3. 数据拆分
4. 数据筛选
5. 数据缓存
6. 数据发送

counting Bolt设计
功能：

1. 窗口定义
2. 刷新窗口
3. 发送数据

Storm提供接口
1 REST接口

• REST(Representational State Tansfer)表述性状态转移接口。

2 Thrift接口

• 由Numbus提供。Thrift是一个基于静态代码生成的跨语言的RPC协议栈实现。

Spout接口

1. Spout的Ack开关

Bolt接口

1. Bolt的Ack开关

• 创建输入流
• Join
• 窗口
• Split