7.Flink实时项目之独立访客开发

1.架构说明在上6节当中,我们已经完成了从ods层到dwd层的转换,包括日志数据和业务数据,下面我们开始做dwm层的任务. DWM 层主要服务 DWS,因为部分需求直接从 DWD 层到DWS 层中间会有一定的计算量,而且这部分计算的结果很有可能被多个 DWS 层主题复用,所以部分 DWD 会形成一层 DWM,我们这里主要涉及业务: 访问UV计算跳出明细计算订单宽表支付宽表因为实时计算与离线不同,实时计算的开发和运维成本都是非常高的,要结合实际情况考虑是否有必要象离线数仓一样,建一个大而…

PV(访问量)、UV(独立访客)、IP(独立IP) （转）

网站统计中的PV(访问量):UV(独立访客):IP(独立IP)的定义与区别今天使用了雅虎统计,看到里面就有这个,就说说,其实里面的uv大家可能觉得很新奇,但是和站长统计里的独立访客是一样的嘛.--------首先来看看ip.uv和pv的定义----------PV(访问量):即Page View, 即页面浏览量或点击量,用户每次刷新即被计算一次.UV(独立访客):即Unique Visitor,访问您网站的一台电脑客户端为一个访客.00:00-24:00内相同的客户端只被计算一次.IP(独立IP…

8.Flink实时项目之CEP计算访客跳出

1.访客跳出明细介绍首先要识别哪些是跳出行为,要把这些跳出的访客最后一个访问的页面识别出来.那么就要抓住几个特征: 该页面是用户近期访问的第一个页面,这个可以通过该页面是否有上一个页面(last_page_id)来判断,如果这个表示为空,就说明这是这个访客这次访问的第一个页面. 首次访问之后很长一段时间(自己设定),用户没继续再有其他页面的访问. 这第一个特征的识别很简单,保留 last_page_id 为空的就可以了.但是第二个访问的判断,其实有点麻烦,首先这不是用一条数据就能得出结论的,需…

4.Flink实时项目之数据拆分

1. 摘要我们前面采集的日志数据已经保存到 Kafka 中,作为日志数据的 ODS 层,从 kafka 的ODS 层读取的日志数据分为 3 类, 页面日志.启动日志和曝光日志.这三类数据虽然都是用户行为数据,但是有着完全不一样的数据结构,所以要拆分处理.将拆分后的不同的日志写回 Kafka 不同主题中,作为日志 DWD 层. 页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光侧输出流 2. 识别新老用户本身客户端业务有新老用户的标识,但是不够准确,需要用实时计算再次确认(不涉…

5.Flink实时项目之业务数据准备

1. 流程介绍在上一篇文章中,我们已经把客户端的页面日志,启动日志,曝光日志分别发送到kafka对应的主题中.在本文中,我们将把业务数据也发送到对应的kafka主题中. 通过maxwell采集业务数据变化,相当于是ods数据,把采集的数据发送到kafka的topic(ods_base_db_m)中,然后flink从kafka消费数据,这个过程有维度数据,就放到hbase中,其他事实数据再发送给kafka作为dwd层.flink消费kafka数据可以做一些简单的ETL处理,比如过滤空值,长度限制…

10.Flink实时项目之订单维度表关联

1. 维度查询在上一篇中,我们已经把订单和订单明细表join完,本文将关联订单的其他维度数据,维度关联实际上就是在流中查询存储在 hbase 中的数据表.但是即使通过主键的方式查询,hbase 速度的查询也是不及流之间的 join.外部数据源的查询常常是流式计算的性能瓶颈,所以我们在查询hbase维度数据的基础上做一些优化及封装. phoenix查询封装 phoenix作为hbase的一个上层sql封装,或者叫做皮肤,可以使用标准的sql语法来使用hbase,我们做一些简单的查询hbase的工…

3.Flink实时项目之流程分析及环境搭建

1. 流程分析前面已经将日志数据(ods_base_log)及业务数据(ods_base_db_m)发送到kafka,作为ods层,接下来要做的就是通过flink消费kafka 的ods数据,进行简单的处理作为dwd层,然后再写回到kafka. 每层职能分层数据描述计算工具存储介质 ODS 原始数据,日志和业务日志服务器,maxwell kafka DWD 根据数据对象为单位进行分流,比如订单.页面访问等等. flink kafka DWM 对于部分数据对象进行进一步加工,比如独立访…

6.Flink实时项目之业务数据分流

在上一篇文章中,我们已经获取到了业务数据的输出流,分别是dim层维度数据的输出流,及dwd层事实数据的输出流,接下来我们要做的就是把这些输出流分别再流向对应的数据介质中,dim层流向hbase中,dwd层依旧回写到kafka中. 1.分流维度表sink到hbase 上一篇的结果是维度数据在侧输出流hbaseDs,事实数据在主流filterDs中,如下: //5.动态分流,事实表写会kafka,维度表写入hbase OutputTag<JSONObject> hbaseTag = new Out…

9.Flink实时项目之订单宽表

1.需求分析订单是统计分析的重要的对象,围绕订单有很多的维度统计需求,比如用户.地区.商品.品类.品牌等等.为了之后统计计算更加方便,减少大表之间的关联,所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表.那究竟哪些数据需要和订单整合在一起? 如上图,由于在之前的操作(BaseDbTask)我们已经把数据分拆成了事实数据和维度数据,事实数据(绿色)进入 kafka 数据流(DWD 层)中,维度数据(蓝色)进入 hbase 中长期保存.那么我们在 DWM 层中要把实时和维度数据进行整…

11.Flink实时项目之支付宽表

支付宽表支付宽表的目的,最主要的原因是支付表没有到订单明细,支付金额没有细分到商品上, 没有办法统计商品级的支付状况. 所以本次宽表的核心就是要把支付表的信息与订单明细关联上. 解决方案有两个一个是把订单明细表(或者宽表)输出到 Hbase 上,在支付宽表计算时查询 hbase, 这相当于把订单明细作为一种维度进行管理. 一个是用流的方式接收订单明细,然后用双流 join 方式进行合并.因为订单与支付产生有一定的时差.所以必须用 intervalJoin 来管理流的状态时间,保证当支付到达…

1.Flink实时项目前期准备

1.日志生成项目日志生成机器:hadoop101 jar包:mock-log-0.0.1-SNAPSHOT.jar gmall_mock |----mock_common |----mock_db |----mock_log 项目地址:https://github.com/zhangbaohpu/gmall-mock 将模块mock_log打包成jar,并在同级添加application.yml cd /opt/software/applog/ vim application.ym…

Flink| 实时需要分析

========================实时流量统计 1. 实时热门商品HotItems 每隔 5 分钟输出最近一小时内点击量最多的前 N 个商品. 抽取出业务时间戳,告诉 Flink 框架基于业务时间做窗口 • 过滤出点击行为数据 • 按一小时的窗口大小,每 5 分钟统计一次,做滑动窗口聚合( Sliding Window) • 按每个窗口聚合,输出每个窗口中点击量前 N 名的商品 2. 实时流量统计 NetworkFlow "实时流量统计" 对于一个电商平台而言,用户登录…

Django个人博客开发 | 前言

本渣渣不专注技术,只专注使用技术,不是一个资深的coder,是一个不折不扣的copier 1.前言自学 Python,始于 Django 框架,Scrapy 框架,elasticsearch搜索引擎,最初的目的是毕业设计需求,毕设项目是做一个类似百度的搜索引擎.从2018年二月份毕设课题确定,是我学习Python的开始,到2018年5月份毕设完成,并不是我学习Python的结束.目前仍然从事Python开发工作.是时候通过一个项目来记录一下自己的学习成果了.既然学习了django web框架,…

微信群打卡机器人XiaoV项目开源 | 蔡培培的独立博客

原文首发于蔡培培的独立博客.原文链接<微信群打卡机器人XiaoV项目开源>. 5月21日,在米花(后面" 亚里士多德式友谊"专题会提及)的影响下,决定搞个私人运动群,拉几个志同道合的朋友,相互监督,加速进步. 一周过去,实行效果符合预期,但需要额外花小部分精力损耗在监督.统计所有人运动情况,要变革.于是,快速开发了个群机器人,负责提醒.监督.统计,解放劳动力. 机器人名字叫 XiaoV ,运行至今有两个多月了,期间修修补补改了一些BUG,根据需求增加了一些功能,已经很稳定.…

第2节网站点击流项目(下)：6、访客visit分析

0: jdbc:hive2://node03:10000> select * from ods_click_stream_visit limit 2;+---------------------------------------+-------------------------------------+--------------------------------+---------------------------------+-----------------------------…

swift项目第七天：构建访客界面以及监听按钮点击

一:访客界面效果如图二:xib封装访客视图的view 1:业务逻辑分析:1:由于用户未登录时要显示访客视图,要先进行判断用户是否登录,未登录则显示访客视图,登录则显示正常的登陆界面,由于要在四个子控制器界面的控制器中都要判断是否显示访客视图,同样的逻辑,所以考虑抽成父类,把判断是否显示访客视图的逻辑封装在父类中,让子类去继承.2:访客视图的界面如图:将访客视图封装在一个view中,view的界面相对固定,所以用xib搭建,首先将尽可能显示的控件全部封装在view的内部,再根据外界传入的mode…

《点石成金－访客至上的web和移动可用性设计秘籍》读书笔记

简介作者Steve Krug,惯例先去了解一下本书的作者,发现书中介绍的并不多,百度一下后发现这本书比作者出名.好吧,百度就是这样子,作者自称web可用性咨询师,手上这本书是第三版再版,第一版2000年出版,2013年出版第三版,最大的变化大概是综合啦,原来凉拌是网站的可用性,这次是web和mobile.作者书中说,互联网时代,13年就像100年那么久,想想我们的cpu和手机这3年的更替,何况现在都16年啦.我想这本书之所以称为互联网必读书之一大概是因为它定义啦许多“本该如此”的原则问题,…

如何使用10个小时搭建出个人域名而又Geek的独立博客？

1.安装准备软件 Node.js.Git.GitHub DeskTop(前两个必须安装,后者可选) 2.本地搭建hexo框架.配置主题.修改参数.实现本地测试预览 3.链接GitHub.实现在线预览 4.购买域名并解析 (这里告诉大家一个方法,1元购买一个使用期限为一年.cn的域名仅高校学生可以 ) 5.日后站点的管理和运营纸上得来终觉浅,要知此事须举行.世上无难事,就怕是懒人.以下以我的博客:blog.shijinrong.cn(shijinrong.cn是我一下行动)在windows下为…

如何搭建一个独立博客——简明Github Pages与Hexo教程

摘要:这是一篇很详尽的独立博客搭建教程,里面介绍了域名注册.DNS设置.github和Hexo设置等过程,这是我写得最长的一篇教程.我想将我搭建独立博客的过程在一篇文章中尽可能详细地写出来,希望能给后来者一个明确的指引,同时用这篇教程开篇,正式开始我的第八大洲之旅. 前言作为一个技术小白,没有技术基础,看网上的教程也云里雾里,看程序员的教程相当不容易,稍微有些细节描述得不清楚自己就要绕弯路去找答案(善用搜索引擎),所以,在自己的博客搭建完成之后,我决定要将我搭建博客的过程全记录下来,以供后期和…

PHP和JAVASCRIPT判断访客终端是电脑还是手机

当用户使用手机等移动终端访问网站时,我们可以通过程序检测用户终端类型,如果是手机用户,则引导用户访问适配手机屏幕的移动站点.本文将介绍分别使用PHP和JAVASCRIPT代码判断用户终端类型. PHP版我们使用PHP的$_SERVER['HTTP_USER_AGENT']来获取手机用户浏览器的用户代理,然后匹配已有的各种手机浏览器代理库,如果含有匹配的关键字,则判断为手机(移动终端)用户. function is_mobile() { $user_agent = $_SERVER['…

使用 GitHub, Jekyll 打造自己的免费独立博客

使用 GitHub, Jekyll 打造自己的免费独立博客 GitHub是一个代码托管网站,现在很多开源项目都放在GitHub上. 利用GitHub,可以让全球各地的程序员们一起协作开发.GitHub 提供了一种功能,叫 GitHub Pages, 利用这个功能,我们可以为项目建立网站,当然,这也意味着我们可以通过 GitHub Pages 建立自己的网站. Jekyll是一个简单的,针对博客设计的静态网站生成器.使用 GitHub 和 Jekyll,我们可以打造自己的独立博客,你可以自由地定…

使用GitHub+hexo搭建个人独立博客

前言使用github pages服务搭建博客的好处有: 全是静态文件,访问速度快: 免费方便,不用花一分钱就可以搭建一个自由的个人博客,不需要服务器不需要后台: 可以随意绑定自己的域名,不仔细看的话根本看不出来你的网站是基于github的: 数据绝对安全,基于github的版本管理,想恢复到哪个历史版本都行: 博客内容可以轻松打包.转移.发布到其它平台: 等等: 1.1. 准备工作在开始一切之前,你必须已经: 有一个github账号,没有的话去注册一个: 安装了node.js.npm,并了解…

欢迎访问我的独立博客 tracefact.net (2019.1.30)

欢迎访问我的独立博客 tracefact.net 长期以来,我都同时维护着两个博客,博客园和 tracefact.net,感觉有点分散精力,所以博客园以后不再每篇文章都同步更新了. 我会挑个别比较好的发布在博客园,其余文章,仅在这篇文章下面提供链接. 公众号 tracefact,会在每个月的最后一个周末,推送最新文章: 感谢大家关注! ------------------------- 以下是 tracefact.net 的最近更新 ----------------------- 技术 2019…

sitecore系列教程之如何以编程方式将访客数据关联到联系人卡片

在我之前关于Sitecore体验资料的帖子中,我们看到了我们如何了解访问者的一切,包括访问他们在访问期间触发的事件.在这篇博客文章中,我将引导您完成识别匿名用户并将用户访问与联系人记录联系起来的过程,这将使我们能够查看联系人的访问历史并了解有关我们联系人的更多信息. Sitecore的API提供了各种方法来识别访问者并将有关访问者的各种详细信息与联系人记录联系起来. 如何识别匿名访客? 这是识别匿名访客过程中的主要要求之一,以下是我们可以尝试通过各种用户操作捕获有关访问者的信息的一些方法,其…

使用 github Pages 服务建立个人独立博客全过程

你是否有这样子的需求,只是想简单的写写文章,记录下自己的学习心得.成长经历等,都是些文字内容,不需要配置使用数据库.不想购买服务器自己搭建站点,只是想安安静静的用比较舒服的方式来写篇文章. 静态博客就是为此而生的,不用配置服务器.不用数据库.访问速度相当快.没有不安全漏洞的说法,最重要的,对于一个经常使用 markdown来写文章的人来说,她完美支持! GithubPages ,the Websites for you and your projects. Hosted directly fro…

File 与 Log #3--动态加入控件，[图片版]访客计数器（用.txt档案来记录）

File 与 Log #3--动态加入控件,[图片版]访客计数器(用.txt档案来记录) 以前的两篇文章(收录在书本「上集」的第十七章) 请看「ASP.NET专题实务」,松岗出版 File 与 Log #1--ASP.NET的档案与I/O Stream(为系统记录Log文件) File 与 Log #2--[图片版]访客计数器(用.txt档案来记录) 现在这么多免费资源,应该也没人得自己制作「访客计数器」了这个范例的结果或许不合用,但其中实作的经验倒是很有趣读者来信询问: 上述第…

项目接入即时聊天客服系统（环信系统）PHP后端操作

环信工作原理: 一.由于环信没有直接的接口来主动调取本项目中的用户数据,所有用户信息必须在环信服务器上注册对应信息成为环信的用户:(这样才能当用户进入聊天时显示其基本信息,如:名称.昵称.电话.邮箱等): 二.客服工作台登录可以显示用户信息,可以查看用户访问轨迹,可以主动接入访客咨询等诸多功能(这些基本都不需要后端程序员编写) 下面开始后端程序员(app程序员请自行查看环信开发文档)需要接入的代码编写: 一.用户信息传递 1.先下载环信开发demo文件,提取statics.easemob.js等…