最近无事学习一下,用springboot+dubbo+flume+kafka+storm+redis做了一个简单的scenic系统

scenicweb:展现层,springboot+dubbo

scenicservice:业务层(向展现层提供数据),dubbo+redis

scenic:数据统计,kafka+storm+redis统计数据

服务器:2台

  192.168.252.110

  1. genLog.sh(产生日志)

  2. flume-1(收集日志,sink到kafka:192.168.252.110:9090,192.168.252.111:9090)

  3. zookeeper-1,-2,-3(192.168.252.110:2181,192.168.252.110:2182,192.168.252.110:2183)

  4. kafka-1(192.168.252.110:9090)

  5. redis集群(192.168.252.110:7000,192.168.252.110:7001,192.168.252.110:7002,192.168.252.110:7003,192.168.252.110:7004,192.168.252.110:7005)

  192.168.252.111

  1. kafka-1(192.168.252.111:9090)
  2. storm-1(storm只启动了一个,因为虚拟机真的扛不住)

1、scenicweb(springboot+dubbo)

  之所以用springboot,是因为觉得每次学习时需要搭建一个系统太麻烦,想学一个简单的搭建系统的方法,于是此处就用了springboot。

  springboot的核心思想是无XML配置,大部门配置都采用系统的默认配置,这便大大减少了搭建系统步骤。

  • pom.xml

    pom.xml需要引入一个parent,后面,根据自己的需要,导入相应的spring-boot-starter-xx,如web系统只需要引入一个

<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>

  spring-boot-starter-xx里则包含web系统需要的一些jar包,这些jar都有他的默认版本,你可以在properties里修改你想改动的版本。

  • 启动

    springboot的启动方法可以放在main函数里执行

@SpringBootApplication
public class Application {
public static void main(String[] args) {
ConfigurableApplicationContext context = SpringApplication.run(Application.class, args);
}
}

  springboot的默认扫描Application所在类的同级目录以及它的子目录,所以Application类一般放在项目包含所有需要扫描的目录下。

  • 配置

    springboot的配置文件默认放在resource下application.properties或application.yml,springboot启动时会自动扫描,这里你可以修改一些默认配置,配置自己的属性。

  • 无xml配置

    @Configuration 标注该类是一个配置类.类似于我们定义的 applicationContext.xml
    @Bean 类似于我们在之前的 spring 配置文件中配置的<bean id=”” class=””/>

  • 自动化部署

    springboot入库类上的@SpringBootApplication是springboot的核心注解,他是一个组合注解,包含了@SpringBootConfiguration,类似@Configuration,springboot推荐使用@SpringBootConfiguration。@EnableAutoConfiguration,启动自动配置。@ComponentScan,默认扫描Application所在类的同级目录以及它的子目录

  

2、scenicservice(dubbo+redis)

  dubbo官网已更新,想系统学习的可以移步:http://dubbo.apache.org/#/docs/user/quick-start.md?lang=zh-cn,这里简单说几点吧

  • dubbo配置的优先级

    方法级优先,接口次之,全局配置再次之。如果级别一样,消费者优先,提供方次之

  • dubbo属性配置

     dubbo可以通过jvm,xml,已经dubbo.properties配置(dubbo会自动加载classpath下的dubbo.properties)。

    覆盖策略:jvm>xml>properties

  • 集群容错

    failover(失败切换其他服务器自动重试,默认重试2次),failfast(快速失败,失败后不会重试,通常用于新增等非幂等性操作),failsafe(失败安全,失败后直接忽略),failback(失败后自动恢复,定时重发,通常用于失败通知)等等

  • 负载均衡

    random等。。。配置负载均衡策略时字母必须都小写,可配置

  • 服务端线程池

    如果事件处理很快,并且不会发生新的io请求,则直接在io线程上处理更快,减少线程池调度

    如果事件处理很慢,或者需要重新发起io情况,如数据库查询,必须派发到线程池,否则io线程阻塞,将导致不能接收其他请求

    如果用 IO 线程处理事件,又在事件处理过程中发起新的 IO 请求,比如在连接事件中发起登录请求,会报“可能引发死锁”异常,但不会真死锁。

<dubbo:protocol name="dubbo" dispatcher="all" threadpool="fixed" threads="100" />

    dispatcher:all(全部请求都派发到线程池,包括请求、响应、连接事件、断开事件、心跳等),direct(所有时间都不派发都线程池)等

    threadpool:fixed(固定大小线程池)、cached(可缓存线程池,空闲1分钟删除)、limited(可伸缩线程池,但线程池只增不涨,避免收缩时突然来了大流量引起性能问题)等

  • dubbo多协议

    不能服务适合不同协议,如大数据适合短协议,小数据适合长协议

  • 结果缓存

    lru(最近最少使用原则)等

  • mock容错

    本地伪装通常用于服务降级,当服务方服务关掉后,客户端不抛出异常,而是返回自定义信息

  • 并发控制

    可以通过设置限制服务端并发执行数:executes="10"

    同理,可限制客户端并发数:actives="10"

  除了上述配置相关属性外,dubbo还可以通过SPI,自定义配置策略,具体看参照官网

  

  本次项目再调用redis时发现一个问题,当集群发生故障导致主从发生变化时,redis会报JedisMovedDataException,当前解决的办法是通过JedisSlotBasedConnectionHandler的renewSlotCache()方法来刷新连接。工具类也没写好,也没想到更好的方法,以后再完善吧

3、scenic(kafka+storm+redis)

  kafka整合storm,将数据分析结果保存到redis中,好像也没啥好写的

4、linux

  通过genLog.sh随机产生日志,再通过flume将日志发送到kafka中。scenic项目将kafka接受的日志进行解析计算,最后将计算结果保存到redis中。

redis采用一用一备,3台主服务器,3台备服务器。redis调用少时没感觉,当调用频率变高时,redis主从服务器会切换角色,不知道是不是主redis没抗住压力down了,然后从服务器重新选举上的。

  这里不得不说,storm真的是十分吃配置,扛不住!!!

一次简单的springboot+dubbo+flume+kafka+storm+redis系统的更多相关文章

  1. Flume+Kafka+Storm+Redis 大数据在线实时分析

    1.实时处理框架 即从上面的架构中我们可以看出,其由下面的几部分构成: Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发,我们需要做的是,如何让数据在各个不同的集群系统之间 ...

  2. 简单测试flume+kafka+storm的集成

    集成 Flume/kafka/storm 是为了收集日志文件而引入的方法,最终将日志转到storm中进行分析.storm的分析方法见后面文章,这里只讨论集成方法. 以下为具体步骤及测试方法: 1.分别 ...

  3. Flume+Kafka+storm的连接整合

    Flume-ng Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统. Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html ...

  4. flume+kafka+storm+mysql架构设计

    前段时间学习了storm,最近刚开blog,就把这些资料放上来供大家参考. 这个框架用的组件基本都是最新稳定版本,flume-ng1.4+kafka0.8+storm0.9+mysql (项目是mav ...

  5. Flume+Kafka+Storm+Hbase+HDSF+Poi整合

    Flume+Kafka+Storm+Hbase+HDSF+Poi整合 需求: 针对一个网站,我们需要根据用户的行为记录日志信息,分析对我们有用的数据. 举例:这个网站www.hongten.com(当 ...

  6. Flume+Kafka+Storm整合

    Flume+Kafka+Storm整合 1. 需求: 有一个客户端Client可以产生日志信息,我们需要通过Flume获取日志信息,再把该日志信息放入到Kafka的一个Topic:flume-to-k ...

  7. 大数据处理框架之Strom:Flume+Kafka+Storm整合

    环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk1.8 storm-0.9 apache-flume-1.6.0 ...

  8. flume+kafka+storm

    centos06.6+JDK1.7 flume1.4+kafka2.10+storm0.9.3 zookeeper3.4.6 集群: 192.168.80.133 x01 192.168.80.134 ...

  9. flume+kafka+storm单机部署

    flume-1.6.0 kafka0.9.0.0 storm0.9.6 一.部署flume 1.解压 tar -xzvf apache-flume-1.6.0-bin.tar.gz -C ../app ...

随机推荐

  1. vsftp 上传550 Permission denied解决办法

    在linux服务器上安装和配置了vsftp,添加用户然后现在用这个用户登录ftp成功,能下载,但是不能上传和删除,明明这个用户的主目录给了777权限了,但是始终无法上传 解决办法:是在/var/ftp ...

  2. Java-CAS 与原子类

    CAS(Compare and Swap),即比较并替换,实现并发算法时常用到的一种技术. CAS 的思想很简单:三个参数,一个当前内存值 V.旧的预期值 A.即将更新的值 B,当且仅当预期值 A 和 ...

  3. Android关闭通知栏后toast无法提示的解决方案

    https://github.com/getActivity/ToastUtils PS:release版本注意加上混淆规则

  4. cefsharp wpf

    github 安装 PM> Install-Package CefSharp.Wpf 解决方案->属性->配置属性->活动解决方案平台-新建-x64 在需要使用的窗体上引用xm ...

  5. coursera 视频总是缓冲或者无法观看的解决办法(Windows 和 Linux 系统 环境)

    现在读了一个机器学习方向的博士,虽然这么长时间也没有学明白什么,但是没事的时候也会看看一些书籍和资料,学这个方向的人基本都会看过吴恩达的coursera课程上的机器学习课程,我也是如此,不过交了钱以后 ...

  6. eclipse下生成Java类图和时序图,生成UML图

    1.安装和使用AmaterasUML 安装AmaterasUML前,需要先安装GEF采用eclipse在线安装方式安装就好.eclipse在线安装GEF的地址:http://download.ecli ...

  7. IE下 CSS hover iframe失效

    预期:某个div下存在iframe子元素,当鼠标移动到该div下,该iframe出现,移出则iframe消失,移入iframe不会引起iframe消失. 问题:在火狐下结果满足预期,在IE下,鼠标移入 ...

  8. Android提升Gradle编译速度或减少Gradle编译时间.md

    目录 Android如何提升Gradle编译速度或减少Gradle编译时间 最终优化方案 优化效果比对 将所有项目源码,各种缓存临时目录都移动到高性能SSD磁盘上 gradle.properties ...

  9. php代码判断用户访问的当前协议是否为https

    public function isHttps() { if ( ! empty($_SERVER['HTTPS']) && strtolower($_SERVER['HTTPS']) ...

  10. rocketMQ配置事故

    公司的binlog消息通知,基于canal采集然后转发到rocketmq推送给业务进行消费. 基于此机制,为了实现实时计算通用源端处理,订阅了若干rocketmq的topic进行数据的幂等事务性投递到 ...