千呼万唤始出来,Meetup 直播终于来啦~

本次线上 Meetup 由 Apache Kylin 与 Apache Hudi 社区联合举办,将于 3 月 14 日晚进行直播,邀请到来自丁香园、腾讯、柯林布瑞以及 Kyligence 等公司的技术专家,为大家呈现 Kylin 与「由 Uber 开源的数据湖项目」Hudi 的精彩应用案例与实践。感兴趣的小伙伴可以直接拉到文末报名!

活动议程

19:00-19:05   开场

19:05-19:35   Talk 1:《丁香园日志量十倍增长引发的运维思考》

19:35-20:05   Talk 2:《使用 Hudi 构建下一代数据湖及其在医疗大数据的应用》

20:05-20:35   Talk 3:《基于 Hudi 和 Kylin 构建准实时高性能数据仓库》

20:35-21:00   Q&A

演讲嘉宾

丁香园日志量十倍增长引发的运维思考

周天鹏

丁香园大数据运维工程师

个人简介:花厂的一名平平无奇的运维,Apache Kylin Committer,“2019 最佳 Apache Kylin 社区贡献个人奖”获得者,主要负责 OLAP 平台的开发与维护。

演讲摘要:

如果突然一天在线系统的日志量比平时翻了 10 倍,并且恰巧使用了 ELK 这种主流的日志收集分析平台。在不扩容的情况下,Elasticsearch 的写入速率能不能跟得上?存储容量能不能盛得下?统计查询能不能不超时?如果不能,Kylin 3.0 的 Real-time Streaming(实时分析)了解一下?它或许是一种低成本替换 ELK 的极佳方案。

使用 Hudi 构建下一代数据湖及其在医疗大数据的应用

李少锋

Apache Hudi Committer & PPMC

个人简介:腾讯大数据开发工程师,从事大数据实时计算及数据湖分析平台研发,热衷于大数据开源技术。

黄靖

柯林布瑞大数据开发经理

个人简介:主要从事 Hadoop 生态医疗大数据产品的研发,实时计算平台建设。热衷于大数据相关技术的研究。

演讲摘要:

本次分享将会介绍 Hudi 在医疗大数据的实践和应用,介绍如何基于 Hudi 打造医疗场景下数据湖:

  1. 为什么要选择 Hudi

  2. 数万张表如何快速同步 Hudi

  3. Hudi 查询优化和视图的选择

基于 Hudi 和 Kylin 构建准实时高性能数据仓库

史少锋

Apache Kylin PMC Chair

个人简介:Kyligence 首席架构师,负责 Kyligence 解决方案及 Apache Kylin 社区发展。

刘永恒

Kyligence 解决方案工程师

个人简介:主要负责 Kyligence 业务方案和大数据平台相关方案的开发。

演讲摘要:

数据从业务库(TP)同步到分析库(AP)是一个繁琐的过程。为了减少对业务库的压力,数据同步通常采用 T+1 离线导出,或 CDC(binlog)流的方式;前者延迟长,后者在 Hadoop 上开销过大。要获得低延迟往往要借助 HBase/Kudu 这类高级存储,运维成本高,Hudi 的出现填补了空缺。本分享将介绍利用 Hudi 构建基于 HDFS/S3 的数据湖,并与 Kylin 结合实现端到端的准实时入库。目前 Kyligence Cloud 3 已支持 Hudi on S3 做为数据源,助力云上大数据快速分析,本次分享将结合 live demo 来展示此方案。

活动信息

直播时间:2020 年 3 月 14 日(周六)19:00-21:00

报名截止时间:3 月 13 日(周五)24:00

*仅限 500 人在线参与,现在就去报名吧~

↓扫描下方二维码报名↓

报名前请认真阅读下方报名提示,以免错过直播:

1. 本次活动的所有信息将通过邮件、活动微信群与您同步,务必正确填写邮箱及电话。

2. 活动中参与互动,将有机会 pick 随机掉落的精美社区周边以及书籍哦~

合作伙伴

直播 | Apache Kylin & Apache Hudi Meetup的更多相关文章

  1. 大数据分析神兽麒麟(Apache Kylin)

    1.Apache Kylin是什么? 在现在的大数据时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以 ...

  2. 大数据分析界的“神兽”Apache Kylin有多牛?【转】

    本文作者:李栋,来自Kyligence公司,也是Apache Kylin Committer & PMC member,在加入Kyligence之前曾就职于eBay.微软. 1.Apache ...

  3. Apache DolphinScheduler&TiDB联合Meetup | 聚焦开源生态发展下的应用开发能力

    在软件开发领域有一个流行的原则:Don't Repeat Yourself(DRY),翻译过来就是:不要重复造轮子.而开源项目最基本的目的,其实就是为了不让大家重复造轮子. 尤其是在大数据这样一个高速 ...

  4. 论语音社交视频直播平台与 Apache DolphinScheduler 的适配度有多高

    在 Apache DolphinScheduler& Apache ShenYu(Incubating) Meetup 上,YY 直播 软件工程师 袁丙泽 为我们分享了<YY直播基于Ap ...

  5. 《基于Apache Kylin构建大数据分析平台》

    Kyligence联合创始人兼CEO,Apache Kylin项目管理委员会主席(PMC Chair)韩卿 武汉市云升科技发展有限公司董事长,<智慧城市-大数据.物联网和云计算之应用>作者 ...

  6. Apache Kylin 部署之不完全指南

    1. 引言 Apache Kylin(麒麟)是由eBay开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据.底层存储用的是HBase,数据输入与cu ...

  7. 【转】使用Apache Kylin搭建企业级开源大数据分析平台

    http://www.thebigdata.cn/JieJueFangAn/30143.html 本篇文章整理自史少锋4月23日在『1024大数据技术峰会』上的分享实录:使用Apache Kylin搭 ...

  8. 【大数据安全】Apache Kylin 安全配置(Kerberos)

    1. 概述 本文首先会简单介绍Kylin的安装配置,然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin. Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spa ...

  9. Apache kylin概览

    一.Apache kylin的核心概念 表(Table ):表定义在hive中,是数据立方体(Data cube)的数据源,在build cube 之前,必须同步在 kylin中. 模型(model) ...

随机推荐

  1. mybatis探究之延迟加载和缓存

    mybatis探究之延迟加载和缓存 一.什么是延迟加载 1.延迟加载的概念 在mybatis进行多表查询时,并非所有的查询都需要立即进行.例如在查询带有账户信息的用户信息时,我们们并不需要总是在加载用 ...

  2. Java多线程并发03——在Java中线程是如何调度的

    在前两篇文章中,我们已经了解了关于线程的创建与常用方法等相关知识.接下来就来了解下,当你运行线程时,线程是如何调度的.关注我的公众号「Java面典」了解更多 Java 相关知识点. 多任务系统往往需要 ...

  3. SpringCloud之Hystrix服务降级入门全攻略

    理论知识 Hystrix是什么? Hystrix是由Netflix开源的一个服务隔离组件,通过服务隔离来避免由于依赖延迟.异常,引起资源耗尽导致系统不可用的解决方案.这说的有点儿太官方了,它的功能主要 ...

  4. 基于.NetCore3.1搭建项目系列 —— 使用Swagger做Api文档 (下篇)

    前言 回顾上一篇文章<使用Swagger做Api文档 >,文中介绍了在.net core 3.1中,利用Swagger轻量级框架,如何引入程序包,配置服务,注册中间件,一步一步的实现,最终 ...

  5. Fluent算例精选|03利用VOF和蒸发-冷凝模型

    通过学习本算例您将获得? 1.学会基本的VOF模型设置流程 2.学会利用蒸发-冷凝模型来模拟传热沸腾 目录 1摘要4 2传热沸腾模型介绍4 3前处理4 4求解设置5 4.1启动Fluent5 4.2网 ...

  6. mac redis搭建集群

    1.下载redis客户端 2.修改redis.conf文件 port 6379 //端口 daemonize yes cluster-enabled yes //打开集群 cluster-config ...

  7. 批量redis未授权检测工具&批量redis弱口令爆破工具

    今天需要然后就百度搜索了一波,然后自己稍微改了一下: #!/usr/bin/python3 # -*- coding: utf-8 -*- """ @Author: 偷来 ...

  8. 洛谷 P5176 公约数 题解

    原题链接 我天哪 大大的庆祝一下: 数论黑题 \(T1\) 达成! 激动地不行 记住套路:乱推 \(\gcd\),欧拉筛模板,然后乱换元,乱换式子,完了整除分块,欧拉筛和前缀和就解决了! \[\sum ...

  9. C# NAudio录音和播放音频文件及实时绘制音频波形图(从音频流数据获取,而非设备获取)

    下午写了一篇关于NAudio的录音.播放和波形图的博客,不太满意,感觉写的太乱,又总结了下 NAudio是个相对成熟.开源的C#音频开发工具,它包含录音.播放录音.格式转换.混音调整等功能.本次介绍主 ...

  10. 推荐系统(Recommender Systems)

    本博客是针对Andrew Ng在Coursera上的machine learning课程的学习笔记. 目录 基于内容的推荐(Content-based recommendation) 问题表述 问题范 ...