在上一篇文章中,我们已经获取到了业务数据的输出流,分别是dim层维度数据的输出流,及dwd层事实数据的输出流,接下来我们要做的就是把这些输出流分别再流向对应的数据介质中,dim层流向hbase中,dwd层依旧回写到kafka中. 1.分流维度表sink到hbase 上一篇的结果是维度数据在侧输出流hbaseDs,事实数据在主流filterDs中,如下: //5.动态分流,事实表写会kafka,维度表写入hbase OutputTag<JSONObject> hbaseTag = new Out…

1. 流程介绍 在上一篇文章中,我们已经把客户端的页面日志,启动日志,曝光日志分别发送到kafka对应的主题中.在本文中,我们将把业务数据也发送到对应的kafka主题中. 通过maxwell采集业务数据变化,相当于是ods数据,把采集的数据发送到kafka的topic(ods_base_db_m)中,然后flink从kafka消费数据,这个过程有维度数据,就放到hbase中,其他事实数据再发送给kafka作为dwd层.flink消费kafka数据可以做一些简单的ETL处理,比如过滤空值,长度限制…

1. 流程分析 前面已经将日志数据(ods_base_log)及业务数据(ods_base_db_m)发送到kafka,作为ods层,接下来要做的就是通过flink消费kafka 的ods数据,进行简单的处理作为dwd层,然后再写回到kafka. 每层职能 分层 数据描述 计算工具 存储介质 ODS 原始数据,日志和业务 日志服务器,maxwell kafka DWD 根据数据对象为单位进行分流,比如订单.页面访问等等. flink kafka DWM 对于部分数据对象进行进一步加工,比如独立访…

1.架构说明 在上6节当中,我们已经完成了从ods层到dwd层的转换,包括日志数据和业务数据,下面我们开始做dwm层的任务. DWM 层主要服务 DWS,因为部分需求直接从 DWD 层到DWS 层中间会有一定的计算量,而且这部分计算的结果很有可能被多个 DWS 层主题复用,所以部分 DWD 会形成一层 DWM,我们这里主要涉及业务: 访问UV计算 跳出明细计算 订单宽表 支付宽表 因为实时计算与离线不同,实时计算的开发和运维成本都是非常高的,要结合实际情况考虑是否有必要象离线数仓一样,建一个大而…

1. 维度查询 在上一篇中,我们已经把订单和订单明细表join完,本文将关联订单的其他维度数据,维度关联实际上就是在流中查询存储在 hbase 中的数据表.但是即使通过主键的方式查询,hbase 速度的查询也是不及流之间的 join.外部数据源的查询常常是流式计算的性能瓶颈,所以我们在查询hbase维度数据的基础上做一些优化及封装. phoenix查询封装 phoenix作为hbase的一个上层sql封装,或者叫做皮肤,可以使用标准的sql语法来使用hbase,我们做一些简单的查询hbase的工…

1. 摘要 我们前面采集的日志数据已经保存到 Kafka 中,作为日志数据的 ODS 层,从 kafka 的ODS 层读取的日志数据分为 3 类, 页面日志.启动日志和曝光日志.这三类数据虽然都是用户行为数据,但是有着完全不一样的数据结构,所以要拆分处理.将拆分后的不同的日志写回 Kafka 不同主题中,作为日志 DWD 层. 页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光侧输出流 2. 识别新老用户 本身客户端业务有新老用户的标识,但是不够准确,需要用实时计算再次确认(不涉…

1.需求分析 订单是统计分析的重要的对象,围绕订单有很多的维度统计需求,比如用户.地区.商品.品类.品牌等等.为了之后统计计算更加方便,减少大表之间的关联,所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表.那究竟哪些数据需要和订单整合在一起? 如上图,由于在之前的操作(BaseDbTask)我们已经把数据分拆成了事实数据和维度数据,事实数据(绿色)进入 kafka 数据流(DWD 层)中,维度数据(蓝色)进入 hbase 中长期保存.那么我们在 DWM 层中要把实时和维度数据进行整…

1.日志生成项目 日志生成机器:hadoop101 jar包:mock-log-0.0.1-SNAPSHOT.jar gmall_mock ​ |----mock_common ​ |----mock_db ​ |----mock_log 项目地址:https://github.com/zhangbaohpu/gmall-mock 将模块mock_log打包成jar,并在同级添加application.yml cd /opt/software/applog/ vim application.ym…

支付宽表 支付宽表的目的,最主要的原因是支付表没有到订单明细,支付金额没有细分到商品上, 没有办法统计商品级的支付状况. 所以本次宽表的核心就是要把支付表的信息与订单明细关联上. 解决方案有两个 一个是把订单明细表(或者宽表)输出到 Hbase 上,在支付宽表计算时查询 hbase, 这相当于把订单明细作为一种维度进行管理. 一个是用流的方式接收订单明细,然后用双流 join 方式进行合并.因为订单与支付产 生有一定的时差.所以必须用 intervalJoin 来管理流的状态时间,保证当支付到达…

1.访客跳出明细介绍 首先要识别哪些是跳出行为,要把这些跳出的访客最后一个访问的页面识别出来.那么就要抓住几个特征: 该页面是用户近期访问的第一个页面,这个可以通过该页面是否有上一个页面(last_page_id)来判断,如果这个表示为空,就说明这是这个访客这次访问的第一个页面. 首次访问之后很长一段时间(自己设定),用户没继续再有其他页面的访问. 这第一个特征的识别很简单,保留 last_page_id 为空的就可以了.但是第二个访问的判断,其实有点麻烦,首先这不是用一条数据就能得出结论的,需…

1. 安装zabbix agent 下载zabbix:过往的软件包都有:https://sourceforge.mirrorservice.org/z/za/zabbix/ZABBIX%20Latest%20Stable/ 2. 安装agent tar xf zabbix-3.4.13.tar.gz cd zabbix-3.4.13 ./configure --prefix=/usr/local/zabbix-3.2.0--with-net-snmp --enable-agent make ma…

写这篇博客的目的 让更多的人了解 阿里开源的MongoShake可以很好满足mongodb到kafka高性能高可用实时同步需求(项目地址:https://github.com/alibaba/MongoShake,下载地址:https://github.com/alibaba/MongoShake/releases).至此博客就结束了,你可以愉快地啃这个项目了.还是一起来看一下官方的描述: MongoShake is a universal data replication platform b…

使用的flink版本:1.9.1 异常描述 需求: 从kafka读取一条数据流 经过filter初次筛选符合要求的数据 然后通过map进行一次条件判断再解析.这个这个过程中可能返回null或目标输出outData. 最后将outData通过自定义sink写入hbase. 转换核心代码: val stream: DataStream[Input] = source.filter(s => (!s.equals(null)) && (s.contains("\"typ…

本文首发于:Java大数据与数据仓库,Flink实时计算pv.uv的几种方法 实时统计pv.uv是再常见不过的大数据统计需求了,前面出过一篇SparkStreaming实时统计pv,uv的案例,这里用Flink实时计算pv,uv. 我们需要统计不同数据类型每天的pv,uv情况,并且有如下要求. 每秒钟要输出最新的统计结果: 程序永远跑着不会停,所以要定期清理内存里的过时数据: 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制: 访问uv并不一定每秒钟都会变化,重复输出对IO…

P2P小贷网站业务数据流程分享 引言 这是去年年底开发的一个项目,完成后和用户的衔接没有很好的做起来,所以项目就搁浅了.9月以来,看各路P2P风声水起,很是热闹:这里分享下我的设计文档,算是抛砖引玉,如能提供一些借鉴意义,也不枉分享一场:本文用于说明P2P小贷项目的程序设计,包括程序系统的基本处理流程,模块划分.功能分配及UI设计等. 开发目标 1． 开发P2P网上借贷系统:2． 合理规划整个系统的功能,使之符合网上交易的需要.3． 流程简单化,使得投资者及企业借贷者可轻松上手操作.4． 网站必…

前言 该篇整理的原始来源为http://blog.csdn.net/leixiaohua1020/article/details/40540147.非常感谢该博主的无私奉献,写了不少关于不同多媒体库的博文.让我这个小白学习到不少.现在将其整理是为了收录,以备自己查看. 一.DirectSound简介 DirectSound是微软所开发DirectX的组件之一,可以在Windows 操作系统上录音,并且记录波形音效(waveform sound).目前DirectSound 是一个成熟的API ,…

作者:nnngu 项目源代码:https://github.com/nnngu/nguSeckill 这是一个整合IDEA+Maven+SSM框架的高并发的商品秒杀项目.我们将分为以下几篇文章来进行详细的讲解: 01 Java高并发秒杀项目之业务分析与DAO层 02 Java高并发秒杀项目之Service层 03 Java高并发秒杀项目之web层 04 Java高并发秒杀项目之高并发优化 项目的效果图 秒杀商品列表 开始秒杀提示界面 秒杀结束提示界面 新建一个Maven项目 以IntelliJ…

应用层级时空记忆模型(HTM)实现对实时异常流时序数据检测 Real-Time Anomaly Detection for Streaming Analytics Subutai Ahmad SAHMAD@NUMENTA.COM Numenta, Inc., 791 Middlefield Road, Redwood City, CA 94063 USA Scott Purdy SPURDY@NUMENTA.COM Numenta, Inc., 791 Middlefield Road, Red…

为什么要在标题里加上一个业务数据的上报呢,因为在咱们前端项目中,可上报的数据维度太多,比如还有性能数据.页面错误数据.console捕获等.这里我们只讲解业务数据的埋点. 业务数据的上报主要分为: 各个路由的PV上报: 用户的点击行为上报: 用户操作结果(分享是否成功)的数据上报等: 通用和必须上报的数据,均在上报的代码中进行固定,比如设备信息.用户信息.cookie等都需要上报的数据,在上报前处理完成,需要异步获取且数据固定的,做好存储,防止每次都要重新获取:其他额外的数据,通过对外暴露的se…

SharePoint中可以通过Visio Service可以在浏览器中查看Visio图,功能部署到系统中,一切安好. 而现实总是很折磨人,使用该功能后,相关使用者随后提出,Visio图能否与我的业务数据进行绑定,实现数据变动,图形也随之变化? 记得这个功能是有的,在2010时代就有,一直没尝试使用过. 测试案例 以IT运维中服务器监控为例,建一“服务器列表”的自定义列表 字段清单:标题.状态(下拉选项:正常.警告.关机).IP地址 录入一部分数据,如下图所示: 打开Visio,创建新文档,类型选…

说明:本文为<Flink大数据项目实战>学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习课程: Flink大数据项目实战:http://t.cn/EJtKhaz split 1.DataStream → SplitStream 2.按照指定标准将指定的DataStream拆分成多个流用SplitStream来表示 select 1.SplitStream → DataStream 2.跟split搭配使用,从SplitStream中选择一个或多个流 案例: pu…

表的要求表中使用的字段请尽量参照各模块的SAP字段标准使用习惯:  例:"ZXSLRZX销售组织对应的利润中心"中的销售组织应该使用VKORG.利润中心应该使用PRCTR.根据表的用途,需确定是否属于配置目的.还是业务目的.配置表的建议:需要加入MANDT字段  例: "ZQJQD缺件清单"就没有MANDT字段需提供相应的维护视图:例:如ZCHECK_MM01工厂和利润中心的对应为保证DEV/QAS/PRD系统的一致性,不应该对配置表提供批量维护的功能,而应该走Re…

博客公告: (1)本博客全部博客文章搬迁至<博客虫>http://blogchong.com/ (2)文章相应的源代码下载链接參考博客虫站点首页的"代码GIT". (3)很多其它的相关文章更新,以及代码等.请关注博客虫站点,站点中有技术Q群,以及代码共享链接. (4)该博客内容还会继续更新,只是会慢一些. 该文档为实实在在的原创文档,转载请注明作者及出处. 类型 具体 备注 ² 该文档为原创模拟项目:流数据监控<1>文档<流数据监控设计文档>.相继会…

TopN的常见应用场景,最热商品购买量,最高人气作者的阅读量等等. 1. 用到的知识点 Flink创建kafka数据源: 基于 EventTime 处理,如何指定 Watermark: Flink中的Window,滚动(tumbling)窗口与滑动(sliding)窗口: State状态的使用: ProcessFunction 实现 TopN 功能: 2. 案例介绍 通过用户访问日志,计算最近一段时间平台最活跃的几位用户topN. 创建kafka生产者,发送测试数据到kafka: 消费kafka…

discuz论坛apache日志hadoop大数据分析项目:清洗数据核心功能解说及代码实现http://www.aboutyun.com/thread-8637-1-1.html(出处: about云开发) 我们在进行日志分析的时候,那么日志的数据是杂乱无章的,或则说日志的数据并不是我们都想看到的.所以我们需要对里面的数据进行清洗,说的直白一点就是要过滤里面的字符串.下面便是我们需要过滤的数据: 183.131.11.98 - - [01/Aug/2014:01:01:05 +0800] "GE…

实时获取GPS定位数据 import android.app.Activity; import android.content.Context; import android.location.Location; import android.location.LocationListener; import android.location.LocationManager; import android.os.Bundle; import android.widget.EditText; /*…

它已成功安装Flume在...的基础上.本文将总结使用Flume实时采集和处理数据,详细过程,如下面: 第一步,在$FLUME_HOME/conf文件夹下,编写Flume的配置文件,命名为flume_first_conf,详细内容例如以下: #agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Spooling Directory是监控指定目录中新文件的变化,一旦新文件出现,就解析该文件…

参与flink开源项目 https://flink.apache.org/how-to-contribute.html 1.回答社区问题 2.撰写bug报告 3.对于改进建议或新的特征 4.帮助别人并加入讨论 5.review代码 6.修改bug 路线图 1.大体熟悉flink的代码结构.本地编译 2.进一步了解flink的原理,参与新功能的测试工作 3.找到代码共享点,提交代码 参与测试工作:https://cwiki.apache.org/confluence/display/FLINK/R…

python操作三大主流数据库(14)python操作redis之新闻项目实战②新闻数据的展示及修改.删除操作 项目目录: ├── flask_redis_news.py ├── forms.py ├── init_news.py ├── redis_news.py ├── static │   ├── bootstrap--dist │   │   ├── css │   │   ├── fonts │   │   └── js │   ├── bootstrap--dist.zip │  …

业务数据实体(model) 需要克隆的时候 可以使用 Json.Deserialize<InquireResult>(Json.Serialize<InquireResult>(inqResult)); Json序列化再反序列化: 方法二:例如实体名称(InquireResult)实体中包含实体 CfetTrade 实体 实现ICloneable 接口, 实体中新增方法 public object Clone() { InquireResult obj =  (InquireRes…