Storm并发度和Grouping方式

Storm并发度和Grouping方式
.note-content {font-family: "Helvetica Neue",Arial,"Hiragino Sans GB","STHeiti","Microsoft YaHei","WenQuanYi Micro Hei",SimSun,Song,sans-serif;}

.note-content h2 {line-height: 1.6; color: #0AA89E;}
.note-content {background: #FFFFFF;}
.note-content h1 {color: #7AB3A7;}
.note-content h3 {color: #147A67;}

Task数量————->逻辑数量(影响输出结果)

Worker数量———->进程数(影响效率)

Executor数量——–>线程数(影响效率)

1.builder.setSpout("spout",new RandomSentenceSpout(),5).setNumTask(7);
2.//5表示有5个Executor，7表示有7个Task

1.Config conf=new Config();
2.conf.setDebug(true);
3.
4.if(args !=null && args.length>0){
5.    conf.setNumWorkers(3);
6.    /*3表示有3个Worker，但是在本地模式下Worker是不生效的，因为它只会起一个进程来进行这个作业。在集群模式下才生效，而且是一定要设置这个值，因为默认是1，也就是只会起一个进程去跑*/
7.}

Grouping方式

分组名	备注
Shuffle Grouping	随机分组
Fields Grouping	按字段分组，保证同字段的数据必然分到同一个Bolt
All Grouping	广播，所有下游只有一个并发时使用
Global Grouping	全局分组，下游只有一个并发时使用
None Grouping	预留，目前等价于Shuffle Grouping
Direct Grouping	直接指明下游的分组，比较底层的API
Local or Shuffle Grouping	功能上类似随机分组，但会尽可能发送给同一个Worker内的bolt，减少网络传输