hadoop day 7

1.storm概述

应用于实时的流式计算，结合消息队列和数据库进行使用。

Spouts：拓扑的消息源

Bolts：拓扑的处理逻辑单元，每个bolt可以在集群当中多实例的并发执行

tuple：消息元组，数据传递的封装形式

streams：流，不同的消息所经过的路径是不一样的

stream groupings：流的分组策略

　　Shuffle Grouping——随机分组，随机派发stream里面的tuple

　　Fields Grouping——按字段分组，具有同样字段的tuple会被分到相同的Bolts里的一个task，而不同的字段则会被分配到不同的bolts里的task

　　All Grouping——广播发送，对于每一个tuple，所有的bolts都会收到。

　　Global Grouping——全局分组，这个tuple被分配到storm中的一个bolt的其中一个task，再具体一点就是分配给id值最低的那个task

　　Non Grouping——不分组，和shuffle Grouping不同的是，Storm会把这个bolt放到这个bolt的订阅者同一个线程里面去执行

　　直接分组——

Tasks：任务处理单元

Executor：工作线程

Workers：工作进程

Configuration：topology的配置

运行结构：supervisor------>多个worker进程------>多个executor线程------>多个task实例

默认一个supervisor对应4个工作槽位

supervisor负责对worker进行负载均衡调度，当supervisor进程被终止后，worker会继续运行

Nimbus进程被终止后，新任务无法提交，但是原来的任务仍然可以继续运行。

2.集群的物理结构及安装

Nimbus负责集群的协调管理

supervisor负责具体的运算。

1）安装一个zookeeper集群

2）上传storm的安装包，解压

3）修改配置文件storm.yaml

#所使用的zookeeper集群主机 storm.zookeeper.servers:      - "weekend05"      - "weekend06"      - "weekend07"

#nimbus所在的主机名 nimbus.host: "weekend05"

supervisor.slots.ports -6701 -6702 -6703 -6704 -6705

启动storm 在nimbus主机上 nohup ./storm nimbus 1>/dev/null 2>&1 &

nohup ./storm ui 1>/dev/null 2>&1 &

在supervisor主机上 nohup ./storm supervisor 1>/dev/null 2>&1 &

storm的深入学习：    分布式共享锁的实现    事务topology的实现机制及开发模式    在具体场景中的跟其他框架的整合（flume/activeMQ/kafka(分布式的消息队列系统)       /redis/hbase/mysql cluster）

3.Storm与Hadoop的对比

1）Topology与MapReduce一个关键的区别是，一个MapReduce job最终会结束，而一个topology永远会运行。除非手动杀死进程

2）Nimbus 与 ResourManager 在Storm的集群里面有两种节点： 控制节点（master node）和工作节点（worker node）。控制节点上面运行一个叫Nimbus后台程序，它的作用类似Hadoop里面的JobTracker。Nimbus负责在集群里面分发代码，分配计算任务给机器， 并且监控状态。

3）Supervisor (worker进程)与NodeManager(YarnChild) 每一个工作节点上面运行一个叫做Supervisor的节点。Supervisor会监听分配给它那台机器的工作，根据需要启动/关闭工作进程。每一个工作进程执行一个topology的一个子集；一个运行的topology由运行在很多机器上的很多工作进程组成。

4.Nimbus和Supervisor

Nimbus和Supervisor之间的所有协调工作都是通过Zookeeper集群完成。

Nimbus进程和Supervisor进程都是快速失败（fail-fast)和无状态的。所有的状态要么在zookeeper里面， 要么在本地磁盘上。

这也就意味着你可以用kill -9来杀死Nimbus和Supervisor进程， 然后再重启它们，就好像什么都没有发生过。这个设计使得Storm异常的稳定。

5.

conf.setNumWorkers(4) 表示设置了4个worker来执行整个topology的所有组件

builder.setBolt("boltA",new BoltA(),  4)  ---->指明 boltA组件的线程数excutors总共有4个 builder.setBolt("boltB",new BoltB(),  4) ---->指明 boltB组件的线程数excutors总共有4个 builder.setSpout("randomSpout",new RandomSpout(),  2) ---->指明randomSpout组件的线程数excutors总共有4个

-----意味着整个topology中执行所有组件的总线程数为4+4+2=10个 ----worker数量是4个，有可能会出现这样的负载情况，  worker-1有2个线程，worker-2有2个线程，worker-3有3个线程，worker-4有3个线程

如果指定某个组件的具体task并发实例数 builder.setSpout("randomspout", new RandomWordSpout(), 4).setNumTasks(8); ----意味着对于这个组件的执行线程excutor来说，一个excutor将执行8/4=2个task

6.kafka

1)kafka是一个分布式的消息系统

2)kafka集群中的服务器都叫做broker

3)kafka有两类客户端，一类叫producer，一类叫做consumer，客户端和broker服务器之间采用tcp协议连接

4)kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载。

5)每一个分区都可以有多个副本，以防止数据的丢失

6)某一个分区中的数据如果需要更新，都必须通过该分区所有副本中的leader来更新

7)消费者可以分组，比如有两个消费者A和B，共同消费一个topic：order_info，A和B所消费的消息不会重复。