一次简单的springboot+dubbo+flume+kafka+storm+redis系统
最近无事学习一下,用springboot+dubbo+flume+kafka+storm+redis做了一个简单的scenic系统
scenicweb:展现层,springboot+dubbo
scenicservice:业务层(向展现层提供数据),dubbo+redis
scenic:数据统计,kafka+storm+redis统计数据
服务器:2台
192.168.252.110
genLog.sh(产生日志)
flume-1(收集日志,sink到kafka:192.168.252.110:9090,192.168.252.111:9090)
zookeeper-1,-2,-3(192.168.252.110:2181,192.168.252.110:2182,192.168.252.110:2183)
kafka-1(192.168.252.110:9090)
- redis集群(192.168.252.110:7000,192.168.252.110:7001,192.168.252.110:7002,192.168.252.110:7003,192.168.252.110:7004,192.168.252.110:7005)
192.168.252.111
- kafka-1(192.168.252.111:9090)
- storm-1(storm只启动了一个,因为虚拟机真的扛不住)
1、scenicweb(springboot+dubbo)
之所以用springboot,是因为觉得每次学习时需要搭建一个系统太麻烦,想学一个简单的搭建系统的方法,于是此处就用了springboot。
springboot的核心思想是无XML配置,大部门配置都采用系统的默认配置,这便大大减少了搭建系统步骤。
- pom.xml
pom.xml需要引入一个parent,后面,根据自己的需要,导入相应的spring-boot-starter-xx,如web系统只需要引入一个
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
spring-boot-starter-xx里则包含web系统需要的一些jar包,这些jar都有他的默认版本,你可以在properties里修改你想改动的版本。
- 启动
springboot的启动方法可以放在main函数里执行
@SpringBootApplication
public class Application {
public static void main(String[] args) {
ConfigurableApplicationContext context = SpringApplication.run(Application.class, args);
}
}
springboot的默认扫描Application所在类的同级目录以及它的子目录,所以Application类一般放在项目包含所有需要扫描的目录下。
- 配置
springboot的配置文件默认放在resource下application.properties或application.yml,springboot启动时会自动扫描,这里你可以修改一些默认配置,配置自己的属性。
- 无xml配置
@Configuration 标注该类是一个配置类.类似于我们定义的 applicationContext.xml
@Bean 类似于我们在之前的 spring 配置文件中配置的<bean id=”” class=””/>
- 自动化部署
springboot入库类上的@SpringBootApplication是springboot的核心注解,他是一个组合注解,包含了@SpringBootConfiguration,类似@Configuration,springboot推荐使用@SpringBootConfiguration。@EnableAutoConfiguration,启动自动配置。@ComponentScan,默认扫描Application所在类的同级目录以及它的子目录
2、scenicservice(dubbo+redis)
dubbo官网已更新,想系统学习的可以移步:http://dubbo.apache.org/#/docs/user/quick-start.md?lang=zh-cn,这里简单说几点吧
- dubbo配置的优先级
方法级优先,接口次之,全局配置再次之。如果级别一样,消费者优先,提供方次之
- dubbo属性配置
dubbo可以通过jvm,xml,已经dubbo.properties配置(dubbo会自动加载classpath下的dubbo.properties)。
覆盖策略:jvm>xml>properties
- 集群容错
failover(失败切换其他服务器自动重试,默认重试2次),failfast(快速失败,失败后不会重试,通常用于新增等非幂等性操作),failsafe(失败安全,失败后直接忽略),failback(失败后自动恢复,定时重发,通常用于失败通知)等等
- 负载均衡
random等。。。配置负载均衡策略时字母必须都小写,可配置
- 服务端线程池
如果事件处理很快,并且不会发生新的io请求,则直接在io线程上处理更快,减少线程池调度
如果事件处理很慢,或者需要重新发起io情况,如数据库查询,必须派发到线程池,否则io线程阻塞,将导致不能接收其他请求
如果用 IO 线程处理事件,又在事件处理过程中发起新的 IO 请求,比如在连接事件中发起登录请求,会报“可能引发死锁”异常,但不会真死锁。
<dubbo:protocol name="dubbo" dispatcher="all" threadpool="fixed" threads="100" />
dispatcher:all(全部请求都派发到线程池,包括请求、响应、连接事件、断开事件、心跳等),direct(所有时间都不派发都线程池)等
threadpool:fixed(固定大小线程池)、cached(可缓存线程池,空闲1分钟删除)、limited(可伸缩线程池,但线程池只增不涨,避免收缩时突然来了大流量引起性能问题)等
- dubbo多协议
不能服务适合不同协议,如大数据适合短协议,小数据适合长协议
- 结果缓存
lru(最近最少使用原则)等
- mock容错
本地伪装通常用于服务降级,当服务方服务关掉后,客户端不抛出异常,而是返回自定义信息
- 并发控制
可以通过设置限制服务端并发执行数:executes="10"
同理,可限制客户端并发数:actives="10"
除了上述配置相关属性外,dubbo还可以通过SPI,自定义配置策略,具体看参照官网
本次项目再调用redis时发现一个问题,当集群发生故障导致主从发生变化时,redis会报JedisMovedDataException,当前解决的办法是通过JedisSlotBasedConnectionHandler的renewSlotCache()方法来刷新连接。工具类也没写好,也没想到更好的方法,以后再完善吧
3、scenic(kafka+storm+redis)
kafka整合storm,将数据分析结果保存到redis中,好像也没啥好写的
4、linux
通过genLog.sh随机产生日志,再通过flume将日志发送到kafka中。scenic项目将kafka接受的日志进行解析计算,最后将计算结果保存到redis中。
redis采用一用一备,3台主服务器,3台备服务器。redis调用少时没感觉,当调用频率变高时,redis主从服务器会切换角色,不知道是不是主redis没抗住压力down了,然后从服务器重新选举上的。
这里不得不说,storm真的是十分吃配置,扛不住!!!
一次简单的springboot+dubbo+flume+kafka+storm+redis系统的更多相关文章
- Flume+Kafka+Storm+Redis 大数据在线实时分析
1.实时处理框架 即从上面的架构中我们可以看出,其由下面的几部分构成: Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发,我们需要做的是,如何让数据在各个不同的集群系统之间 ...
- 简单测试flume+kafka+storm的集成
集成 Flume/kafka/storm 是为了收集日志文件而引入的方法,最终将日志转到storm中进行分析.storm的分析方法见后面文章,这里只讨论集成方法. 以下为具体步骤及测试方法: 1.分别 ...
- Flume+Kafka+storm的连接整合
Flume-ng Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统. Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html ...
- flume+kafka+storm+mysql架构设计
前段时间学习了storm,最近刚开blog,就把这些资料放上来供大家参考. 这个框架用的组件基本都是最新稳定版本,flume-ng1.4+kafka0.8+storm0.9+mysql (项目是mav ...
- Flume+Kafka+Storm+Hbase+HDSF+Poi整合
Flume+Kafka+Storm+Hbase+HDSF+Poi整合 需求: 针对一个网站,我们需要根据用户的行为记录日志信息,分析对我们有用的数据. 举例:这个网站www.hongten.com(当 ...
- Flume+Kafka+Storm整合
Flume+Kafka+Storm整合 1. 需求: 有一个客户端Client可以产生日志信息,我们需要通过Flume获取日志信息,再把该日志信息放入到Kafka的一个Topic:flume-to-k ...
- 大数据处理框架之Strom:Flume+Kafka+Storm整合
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk1.8 storm-0.9 apache-flume-1.6.0 ...
- flume+kafka+storm
centos06.6+JDK1.7 flume1.4+kafka2.10+storm0.9.3 zookeeper3.4.6 集群: 192.168.80.133 x01 192.168.80.134 ...
- flume+kafka+storm单机部署
flume-1.6.0 kafka0.9.0.0 storm0.9.6 一.部署flume 1.解压 tar -xzvf apache-flume-1.6.0-bin.tar.gz -C ../app ...
随机推荐
- vsftp 上传550 Permission denied解决办法
在linux服务器上安装和配置了vsftp,添加用户然后现在用这个用户登录ftp成功,能下载,但是不能上传和删除,明明这个用户的主目录给了777权限了,但是始终无法上传 解决办法:是在/var/ftp ...
- Java-CAS 与原子类
CAS(Compare and Swap),即比较并替换,实现并发算法时常用到的一种技术. CAS 的思想很简单:三个参数,一个当前内存值 V.旧的预期值 A.即将更新的值 B,当且仅当预期值 A 和 ...
- Android关闭通知栏后toast无法提示的解决方案
https://github.com/getActivity/ToastUtils PS:release版本注意加上混淆规则
- cefsharp wpf
github 安装 PM> Install-Package CefSharp.Wpf 解决方案->属性->配置属性->活动解决方案平台-新建-x64 在需要使用的窗体上引用xm ...
- coursera 视频总是缓冲或者无法观看的解决办法(Windows 和 Linux 系统 环境)
现在读了一个机器学习方向的博士,虽然这么长时间也没有学明白什么,但是没事的时候也会看看一些书籍和资料,学这个方向的人基本都会看过吴恩达的coursera课程上的机器学习课程,我也是如此,不过交了钱以后 ...
- eclipse下生成Java类图和时序图,生成UML图
1.安装和使用AmaterasUML 安装AmaterasUML前,需要先安装GEF采用eclipse在线安装方式安装就好.eclipse在线安装GEF的地址:http://download.ecli ...
- IE下 CSS hover iframe失效
预期:某个div下存在iframe子元素,当鼠标移动到该div下,该iframe出现,移出则iframe消失,移入iframe不会引起iframe消失. 问题:在火狐下结果满足预期,在IE下,鼠标移入 ...
- Android提升Gradle编译速度或减少Gradle编译时间.md
目录 Android如何提升Gradle编译速度或减少Gradle编译时间 最终优化方案 优化效果比对 将所有项目源码,各种缓存临时目录都移动到高性能SSD磁盘上 gradle.properties ...
- php代码判断用户访问的当前协议是否为https
public function isHttps() { if ( ! empty($_SERVER['HTTPS']) && strtolower($_SERVER['HTTPS']) ...
- rocketMQ配置事故
公司的binlog消息通知,基于canal采集然后转发到rocketmq推送给业务进行消费. 基于此机制,为了实现实时计算通用源端处理,订阅了若干rocketmq的topic进行数据的幂等事务性投递到 ...