大数据作为未来技术的基石已成为国家基础性战略资源,挖掘数据无穷潜力,将算力推至极致是整个社会面临的挑战与难题。

Apache Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级,并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。

更好的释放 Flink 的强大算力,需要解决哪些问题?如何进行技术选型?针对业务的特点如何进行相应改进? 实践过程中需要规避哪些坑?

11 月 28-30日,Flink Forward Asia 重磅开启!由来自阿里巴巴及 Ververica 的 19 位 Flink 技术专家们倾力打造的四门培训课程,针对不同阶段、不同学习需求提供技术支持,赋能一线开发者,是小白同学也适合深度学习课程。

培训仅剩的少量名额开放预约中,详情可加微信(ID:candy1764)咨询,从基础概念的准确理解到上手实操的精准熟练,四门线下实战课程,帮你从容应对生产环境中的技术难题。最后一周,不容错过!

参与培训课程你能收获什么?

  1. 你将准确了解分布式数据流、事件时间和状态等核心概念以及在 API 中的体现,并学习如何将这些概念组合在一起来解决实际问题。
  2. 你能充分学习 Flink 应用程序的部署和操作相关的实践性介绍、Flink 运行中涉及的核心概念,以及用于部署、升级和监控 Flink 应用程序的主要工具。
  3. 你将知道如何更好的发挥用 SQL 编写 Flink 作业的潜力,现场研究流式 SQL 的不同案例,包括连接流数据、维表关联、窗口聚合、维护物化视图,以及使用 MATCH RECOGNIZE 子句进行模式匹配等。
  4. 你能够提前了解流计算作业从早期 PoC 阶段慢慢过渡到生产过程中最常见的挑战,并为大家提供超实用的故障诊断工具集,还将介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧,帮助你从 Flink 小白成长为 Flink 技术专家。

重要提示:该培训项目由四个实践和教学环节组成,于 11 月 29 日 下午- 30 日全天(共计 1.5天)同时进行,旨在帮助您提升流处理的编程能力和对 Apache Flink 技能学习。

中阶一:Apache Flink 开发人员培训

课程介绍

课程时长:1.5 天

课程目标:

  1. 本课程是对想要学习构建流应用程序的 Java 和 Scala 开发人员进行的关于 Apache Flink 的实践介绍。
  2. 培训将重点介绍分布式数据流、事件时间和状态等核心概念。
  3. 这些练习将使您有机会了解这些概念在 API 中是如何被体现的,并了解如何将这些概念组合在一起来解决实际问题。

Tips:本课程为纯英文授课,同时配有中文技术专家支持解答问题。

讲师介绍:

主讲:

David:负责 Ververica 培训,Data Science Retreat 的老师和导师,建立了大数据工程课程并且带领团队构建了分析管道,推荐系统和可视化产品等。

协助:

  • Qinjun:Ververica 解决方案架构师,因斯布鲁克大学博士,专注于分布式计算和系统架构。
  • 戴资力(Gordon):Apache Flink PMC,Ververica Software Engineer,主要负责 Flink 的系统开发。
  • 宋辛童(五藏):阿里巴巴高级开发工程师,主要负责 Apache Flink 及阿里云实时计算中资源调度与管理机制的研发工作。

课程目录:

  • 介绍流计算和 Apache Flink
  • DataStream API 的基础
  • 为 Flink 开发做准备(包括练习)
  • 有状态的流处理(包括练习)
  • 时间、定时器和 ProcessFunction(包括练习)
  • 连接多个流(包括练习)
  • 测试(包括练习)

说明:不需要 Apache Flink 的相关知识。

中阶二:Apache Flink 运维培训

课程介绍

课程时长:1.5 天

课程目标:

  1. 本课程是针对 Apache Flink 应用程序的部署和操作相关的实践性介绍。
  2. 目标受众包括负责部署 Flink 应用程序和维护 Flink 集群的开发人员和运维人员。
  3. 演示将重点介绍 Flink 运行中涉及的核心概念,以及用于部署、升级和监控 Flink 应用程序的主要工具。

讲师介绍:

主讲:

  • 徐帅(辅机):阿里巴巴实时计算平台高级专家,目前负责 Flink CEP 引擎及部分 Runtime 模块。
  • 高赟(云骞):阿里巴巴技术专家,主要从事 Flink Runtime 层的设计与研发。
  • 朱翥(长耕):阿里巴巴技术专家,主要负责阿里云实时计算的调度和容错相关的工作。

协助:

  • 沙晟阳(成阳):阿里巴巴技术专家,目前主要关注 K8s 生态下的 Flink 研发。
  • 赵开兴(纯庚):阿里巴巴技术专家,对 Flink 和阿里云实时计算产品的技术特点、应用场景、应用过程可能遇到的问题有丰富的经验和理解。

课程目录:

  • 介绍流计算和 Apache Flink
  • 数据中心里的 Flink
  • 分布式架构介绍
  • 容器化部署(包括实际操作)
  • 状态后端和容错(包括实际操作)
  • 升级和状态迁移(包括实际操作)
  • 指标(包括实践)
  • 容量规划

说明:不需要对 Apache Flink 有先验知识。

中阶三:SQL 开发人员培训

课程介绍

课程时长:1.5 天

课程目标

  • 您将学习到如何充分发挥使用 SQL 来编写 Apache Flink 作业的潜力。
  • 我们将研究流式 SQL 的不同案例,包括连接流数据、维表关联、窗口聚合、维护物化视图,以及使用 MATCH RECOGNIZE 子句进行模式匹配(这是 SQL 2016 新提出的标准)。

讲师介绍:

主讲:

  • 伍翀(云邪):Apache Flink PMC,阿里巴巴技术专家,Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算。
  • 李锐:Apache Hive PMC,阿里巴巴技术专家,主要参与 Hive、HDFS、Spark 等开源项目。
  • 程鹤群(军长):阿里巴巴技术专家,核心参与 Flink Table API 相关的研发。
  • 陈玉兆(玉兆):Apache Calcite PMC,阿里巴巴高级工程师,参与 Flink 相关的研发。

协助:

  • 张冉,主要协助阿里巴巴集团内部及广大外部用户使用实时计算产品上的疑难杂症,致力于优化实时计算产品。

课程目录:

  • 介绍 SQL on Flink
  • 使用 SQL 查询动态表
  • 连接动态表
  • 模式匹配与 match_recognition
  • 生态系统&写外部表

说明:不需要 Apache Flink 的先验知识,但是需要基本的 SQL 知识。

高阶:Apache Flink 调优和问题排查

课程介绍

课程时长:1.5 天

课程目标:

  1. 介绍将流计算作业从早期 PoC 阶段慢慢过渡到生产过程中最常见的挑战,并且帮助大家一起消除它。
  2. 提供有用的故障诊断工具集,并介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧。
  3. 有机会使用新学习到的知识来解决一些异常 Flink 作业表现出来的问题。
  4. 归纳那些使作业没有进展或吞吐量没有达到预期,或作业延迟的常见原因。

讲师介绍:

主讲:

  • 唐云(茶干):阿里巴巴高级研发工程师,长期从事 Flink state & Checkpoint 相关研发,目前也积极参与 Flink on K8s 相关软件化输出开发和社区开发推广工作。
  • 邱从贤(山智):阿里巴巴高级研发工程师,专注于 Flink 核心引擎开发,主要从事 Flink State&Checkpoint 相关研发工作。
  • 周凯波(宝牛): 阿里巴巴技术专家,专注于基于Flink的一站式计算平台的建设。

协助:

  • 何健超(迟南):阿里巴巴技术专家,专注于基于 Flink 的新一代实时计算平台的建设。
  • 方舒:参与阿里巴巴实时计算产品服务,为集团内部及广大外部用户使用实时计算提供技术支持及产品方案的优化。

课程目录:

  • 时间和水印
  • 状态处理和状态后端
  • Flink 的容错机制
  • 检查点和保存点
  • DataStream API 和 ProcessFunction。

培训课程预约说明

培训系列课程为精品小班教学,19 位技术专家面对面指导,一天半深度实操教学,堪称 2019 年度最佳干货课程!大会倒计时最后一周,少量名额售完即止!课程详细说明:

  • 参加培训请选择购买 VIP 套票。中阶培训购买 VIP 套票 1,高阶培训购买 VIP 套票 2。
  • VIP 套票 1 可参与中阶所有课程,VIP 套票 2 可参与包括高阶、中阶培训在内的所有课程。
  • 培训课程咨询:微信(ID:candy1764)

点击下方链接可了解更多培训课程与 Flink Forward Asia 2019 大会信息,越早预约越能抓住时代先机~

https://developer.aliyun.com/special/ffa2019-training?spm=a2c6h.13239638.0.0.108f7955H8hcQ7

本文作者:巴蜀真人

原文链接

本文为云栖社区原创内容,未经允许不得转载。

Flink 实战:如何解决生产环境中的技术难题?的更多相关文章

  1. 使用Windbg找出死锁,解决生产环境中运行的软件不响应请求的问题

    前言 本文介绍本人的一次使用Windbg分析dump文件找出死锁的过程,并重点介绍如何确定线程所等待的锁及判断是否出现了死锁. 对于如何安装及设置Windbg请参考:<使用Windbg和SoS扩 ...

  2. IBM Thread and Monitor Dump Analyzer for Java解决生产环境中的性能问题

    这个工具的使用和 HeapAnalyzer 一样,非常容易,同样提供了详细的 readme 文档,这里也简单举例如下: #/usr/java50/bin/java -Xmx1000m -jar jca ...

  3. 理解Docker(6):若干企业生产环境中的容器网络方案

    本系列文章将介绍 Docker的相关知识: (1)Docker 安装及基本用法 (2)Docker 镜像 (3)Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境 ...

  4. 生产环境中CentOS7部署NET Core应用程序

    NET Core应用程序部署至生产环境中(CentOS7) 阅读目录 环境说明 准备你的ASP.NET Core应用程序 安装CentOS7 安装.NET Core SDK for CentOS7. ...

  5. 生产环境中使用Docker Swarm的一些建议

    译者按: 实践中会发现,生产环境中使用单个Docker节点是远远不够的,搭建Docker集群势在必行.然而,面对Kubernetes, Mesos以及Swarm等众多容器集群系统,我们该如何选择呢?它 ...

  6. Dubbo Mesh 在闲鱼生产环境中的落地实践

    本文作者至简曾在 2018 QCon 上海站以<Service Mesh 的本质.价值和应用探索>为题做了一次分享,其中谈到了 Dubbo Mesh 的整体发展思路是“借力开源.反哺开源” ...

  7. Vue Nginx反向代理配置 解决生产环境跨域

    Vue本地代理举例: module.exports = { publicPath: './', devServer: { proxy: { '/api': { target: 'https://mov ...

  8. SpringBoot+ShardingSphere彻底解决生产环境数据库字段加解密问题

    前言   互联网行业公司,对于数据库的敏感字段是一定要进行加密的,方案有很多,最直接的比如写个加解密的工具类,然后在每个业务逻辑中手动处理,在稍微有点规模的项目中这种方式显然是不现实的,不仅工作量大而 ...

  9. .NET跨平台之旅:在生产环境中上线第一个运行于Linux上的ASP.NET Core站点

    2016年7月10日,我们在生产环境中上线了第一个运行于Linux上的ASP.NET Core站点,这是一个简单的提供后端服务的ASP.NET Core Web API站点. 项目是在Windows上 ...

随机推荐

  1. java valueOf

    valueOf 方法可以将原生数值类型转化为对应的Number类型,java.lang.Number 基类包括ouble.Float.Byte.Short.Integer 以及 Long派生类, 也可 ...

  2. leetcode 39. 组合总和(python)

    给定一个无重复元素的数组 candidates 和一个目标数 target ,找出 candidates 中所有可以使数字和为 target 的组合. candidates 中的数字可以无限制重复被选 ...

  3. FutureTask的用法以及两种常用的使用场景

    参考博客:https://blog.csdn.net/linchunquan/article/details/22382487 FutureTask可用于异步获取执行结果或取消执行任务的场景.通过传入 ...

  4. free pascal

    https://freepascal.org/ free pascal OPEN SOURCE COMPILER FOR PASCAL AND OBJECT PASCAL GENERAL HomeNe ...

  5. [转载]X509证书中RSA公钥的提取与载入 pem key

    原地址:https://blog.csdn.net/anddy926/article/details/8940377 由于项目需要,我计划利用openssl开发一个基本的CA,实现证书的发放等功能.在 ...

  6. pandas 入门(3)

    from pandas import Series, DataFrame, Index import numpy as np # 层次化索引 对数据重塑和分组操作很有用 data = Series(n ...

  7. Web高级 JavaScript中的数据结构

    复杂度分析 大O复杂度表示法 常见的有O(1), O(n), O(logn), O(nlogn) 时间复杂度除了大O表示法外,还有以下情况 最好情况时间复杂度 最坏情况时间复杂度 平均情况时间复杂度 ...

  8. 转载-linux挂载的意思

    挂载:Liunx采用树形的文件管理系统,也就是在Linux系统中,可以说已经没有分区的概念了.分区在Linux和其他设备一样都只是一个文件.要使用一个分区必须把它加载到文件系统中.这可能难于理解,继续 ...

  9. BZOJ 1878(离散化+线段树)

    题面 传送门 分析 首先我们观察到区间范围较大,而区间个数较少,考虑离散化,将所有询问按照右端点进行排序 离散化之后研究区间颜色个数变化的规律 当我们处理到第a[i]个段时,设a[i]上一次出现的地方 ...

  10. python 合并字典/拼接字典

    针对于python 3.5以上版本: 最好的最快的最优雅的方法是: result_dict = {**dict_1, **dict_2} 例如:( dict 代表 dictionary,也就是字典) ...