文 | 潘国庆 携程大数据平台实时计算平台负责人 本文主要从携程大数据平台概况.架构设计及实现.在实现当中踩坑及填坑的过程.实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实践,希望对需要构建实时数据平台的公司和同学有所借鉴. 一.携程大数据平台之总体架构 携程大数据平台结构分为三层: 应用层:开发平台Zeus(分为调度系统.Datax数据传输系统.主数据系统.数据质量系统).查询平台(ArtNova报表系统.Adhoc查询).机器学习(基于tensorflow.spa…

2019 年 3 月 23 日,OpenResty 社区联合又拍云,举办 OpenResty × Open Talk 全国巡回沙龙·北京站,Polaristech 技术专家刘洋在活动上做了<基于 OpenResty / Kong 构建边缘计算平台>的分享. OpenResty x Open Talk 全国巡回沙龙是由 OpenResty 社区.又拍云发起,邀请业内资深的 OpenResty 技术专家,分享 OpenResty 实战经验,增进 OpenResty 使用者的交流与学习,推动 Ope…

1.前言 目前实时计算的业务场景越来越多,实时计算引擎技术及生态也越来越成熟.以Flink和Spark为首的实时计算引擎,成为实时计算场景的重点考虑对象.那么,今天就来聊一聊基于Kafka的实时计算引擎如何选择?Flink or Spark? 2.为何需要实时计算? 根据IBM的统计报告显示,过去两年内,当今世界上90%的数据产生源于新设备.传感器以及技术的出现,数据增长率也会为此加速.而从技术上将,这意味着大数据领域,处理这些数据将变得更加复杂和具有挑战性.例如移动应用广告.欺诈检测.出租车预…

系列随笔: (总览)基于商品属性的相似商品推荐算法 (一)基于商品属性的相似商品推荐算法--整体框架及处理流程 (二)基于商品属性的相似商品推荐算法--Flink SQL实时计算实现商品的隐式评分 (三)基于商品属性的相似商品推荐算法--批量处理商品属性,得到属性前缀及完整属性字符串 (四)基于商品属性的相似商品推荐算法--推荐与评分高的商品属性相似的商品 (五)基于商品属性的相似商品推荐算法--算法调优及其他 2020.04.15  补充:协同过滤推荐算法.pptx 提取码:4tds 注:如果…

Plink是一个基于Flink的流处理平台,旨在基于 [Apache Flink]封装构建上层平台. 提供常见的作业管理功能.如作业的创建,删除,编辑,更新,保存,启动,停止,重启,管理,多作业模板配置等. Flink SQL 编辑提交功能.如 SQL 的在线开发,智能提示,格式化,语法校验,保存,采样,运行,测试,集成 Kafka 等. 由于项目刚刚启动,未来还有很长的路要走,让我们拭目以待. 在 Windows 上部署 Plink Plink 进行独立单机部署,可以在 Windows 上进行…

作者:vivo 互联网实时计算团队- Chen Tao 本文根据"2022 vivo开发者大会"现场演讲内容整理而成. vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入.开发.部署.运维和运营全流程的一站式数据建设与治理平台. 一.vivo 实时计算业务现状 2022年,vivo互联网在网用户总数达到2.8亿,多款互联网应用的日活超过了千万甚至突破了1亿,为了向用户提供优质的内容和服务,我们需要对如此大规模的用户所产生的海量数…

克拉克拉(KilaKila):大规模实时计算平台架构实战 一.产品背景:克拉克拉(KilaKila)是国内专注二次元.主打年轻用户的娱乐互动内容社区软件.KilaKila推出互动语音直播.短视频配音.对话小说等功能,满足当下年轻用户个性化.碎片化的文娱需求.App用户等级体系作为克拉克拉社区化打造的核心业务,在增强社区活跃度.提高产品留存方面起到至关重要的作用.随着业务规模增长,海量用户行为日志实时采集与计算的瓶颈也日益突出,由于单台服务器的处理能力有限,海量数据分析需要分布式计算模型来替代.通…

本篇文章内容来自2016年TOP100summit Twitter technical lead for Heron Maosong Fu 的案例分享. 编辑:Cynthia Maosong Fu:Technical Lead for Heron at Twitter 导读:人们需要处理的数据规模和对结果的响应速度需求增长得越来越快,但摩尔定律逐渐失效,系统设计者再也无法简单地通过硬件升级来获得巨大的性能提升.这时,我们希望可以把过去的单机任务分割给许多计算机进行并行处理.我们需要分布式系统,从…

作者介绍 倪增光,饿了么BDI-大数据平台研发高级技术经理,曾先后就职于PPTV.唯品会.15年加入饿了么,组建数据架构team,整体负责离线平台.实时平台.平台工具的开发和运维,先后经历了唯品会.饿了么数据平台从无到有到不断完善的过程.   一.背景 饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线&实时 Infra 和平台工具开发,其中包括20+组件的开发和维护.2K+ Servers 运维及数据平台周边衍生工具研发&维护.离线 Infra 和平台工具这一块对外分享的比…

题记:昨晚在一个技术社区直播分享了"利用Azure Functions和k8s构建Serverless计算平台"这一话题.整个分享分为4个部分:Serverless概念的介绍.Azure Functions的简单介绍.k8s和KEDA的介绍和最后的演示. Serverless Serverless其实包含了两种概念:BaaS(Backend as a Service)和FaaS(Function as a Service).这次的分享主要针对的是FaaS概念. FaaS的最大特征就是:…