=================================== 10.实时看板案例 10.1 项目需求梳理 根据订单mq,快速计算双11当天的订单量.销售金额.…

2.redis的持久化机制: redis支持两种持久化机制:RDB  AOF RDB:多少秒之内,有多少个key放生变化,将redis当中的数据dump到磁盘保存,保存成一个文件,下次再恢复的时候,首先读取文件当中的数据到内存来 AOF:日志文件的操作记录   记录了我们操作redis的所有的步骤 默认开启RDB,没有开启AOF,一般实现线上环境,都要开启AOF 如果开启了aof持久化机制,那么日志文件就会越写越大,如何控制日志文件不会膨胀太大: rewrite  操作   每隔一段时间,合并日…

详见代码 将任务提交到集群上面去运行 apache-storm-1.1.1/bin/storm jar cn.itcast.storm.kafkaAndStorm.KafkTopology kafkaStorm ========================================= storm的介绍  了解 storm的架构模型: nimbus:主节点,主要用于我们提交任务,分配任务的执行等等 supervisor:从节点,主要用于执行我们的任务 storm的集群安装  搞定 sto…

redis当中的一些专业术语: redis缓存击穿 redis缓存雪崩 redis的缓存淘汰 =========================================== 详见代码…

目录 项目需求 项目模型 实现步骤 项目需求 快速计算双十一当天的订单量和销售金额 项目模型 实现步骤 一.创建topic bin/kafka-topics.sh --create --topic itcast_order --zookeeper node01:2181,node02:2181,node03:2181 --partitions 5 --replication-factor 2 二.创建maven项目并导入要依赖的jar包 <dependencies> <dependenc…

上次课程内容回顾: ConcurrentHashMap是线程安全的,为什么多线程的时候还不好使,为什么还要加static关键字 1.storm的基本介绍:strom是twitter公司开源提供给apache的一个实时处理的框架2.storm的架构模型:主从架构: nimbus:主节点  接收客户端提交的任务,以及任务的分发 supervisor:从节点,主要用于处理nimbus分配的任务3.storm的安装 yaml的配置文件比较严格4.strom的UI管理界面:记得更改ui的端口,默认8088…

课程大纲: 1.storm的基本介绍 2.storm的架构模型 3.storm的安装 4.storm的UI管理界面 5.storm的编程模型 6.storm的入门程序 7.storm的并行度 8.storm的消息的分发策略 9.strom与kafka的集成  搞定 10.            实时看板综合案例 1. storm的基本介绍 storm的官网:http://storm.apache.org/ twitter公司开源提供的,最早的一个版本是0.8.0,处理速度比较快 认知的海岛越大,…

转自:http://shiyanjun.cn/archives/977.html Storm实时计算:流操作入门编程实践   Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比较简单,实际编程开发起来相对容易.下面,简单介绍编程实践过程中需要理解的Storm中的几个概念: Topology Storm中Topology的概念类似于Hadoop中的MapReduce Job,是一个用来编排.容纳一组计算逻辑组件(Spout.Bolt)的对象(Hadoop MapReduce…

一.top3热门商品实时统计案例 1.概述 Spark Streaming最强大的地方在于,可以与Spark Core.Spark SQL整合使用,之前已经通过transform.foreachRDD等算子看到, 如何将DStream中的RDD使用Spark Core执行批处理操作.现在就来看看,如何将DStream中的RDD与Spark SQL结合起来使用. 案例:每隔10秒,统计最近60秒的,每个种类的每个商品的点击次数,然后统计出每个种类top3热门的商品. 2.java案例 packag…

目前在唯品会主要负责redis/hbase的运维和开发支持工作,也参与工具开发工作,本文是在Redis中国用户组给大家分享redis cluster的生产实践. 分享大纲 本次分享内容如下: 1.生产应用场景 2.存储架构演变 3.应用最佳实践 4.运维经验总结 关于这4部分的内容介绍: 第1.2部分:介绍redis cluster在唯品会的生产应用场景,以及存储架构的演变. 第3部分:redis cluster的稳定性,应用成熟度,踩到过那些坑,如何解决这些问题?这部分是大家比较关系的内容.…