大数据作为未来技术的基石已成为国家基础性战略资源,挖掘数据无穷潜力,将算力推至极致是整个社会面临的挑战与难题。

Apache Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级,并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。

更好的释放 Flink 的强大算力,需要解决哪些问题?如何进行技术选型?针对业务的特点如何进行相应改进? 实践过程中需要规避哪些坑?

11 月 28-30日,Flink Forward Asia 重磅开启!由来自阿里巴巴及 Ververica 的 19 位 Flink 技术专家们倾力打造的四门培训课程,针对不同阶段、不同学习需求提供技术支持,赋能一线开发者,是小白同学也适合深度学习课程。

培训仅剩的少量名额开放预约中,详情可加微信(ID:candy1764)咨询,从基础概念的准确理解到上手实操的精准熟练,四门线下实战课程,帮你从容应对生产环境中的技术难题。最后一周,不容错过!

参与培训课程你能收获什么?

  1. 你将准确了解分布式数据流、事件时间和状态等核心概念以及在 API 中的体现,并学习如何将这些概念组合在一起来解决实际问题。
  2. 你能充分学习 Flink 应用程序的部署和操作相关的实践性介绍、Flink 运行中涉及的核心概念,以及用于部署、升级和监控 Flink 应用程序的主要工具。
  3. 你将知道如何更好的发挥用 SQL 编写 Flink 作业的潜力,现场研究流式 SQL 的不同案例,包括连接流数据、维表关联、窗口聚合、维护物化视图,以及使用 MATCH RECOGNIZE 子句进行模式匹配等。
  4. 你能够提前了解流计算作业从早期 PoC 阶段慢慢过渡到生产过程中最常见的挑战,并为大家提供超实用的故障诊断工具集,还将介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧,帮助你从 Flink 小白成长为 Flink 技术专家。

重要提示:该培训项目由四个实践和教学环节组成,于 11 月 29 日 下午- 30 日全天(共计 1.5天)同时进行,旨在帮助您提升流处理的编程能力和对 Apache Flink 技能学习。

中阶一:Apache Flink 开发人员培训

课程介绍

课程时长:1.5 天

课程目标:

  1. 本课程是对想要学习构建流应用程序的 Java 和 Scala 开发人员进行的关于 Apache Flink 的实践介绍。
  2. 培训将重点介绍分布式数据流、事件时间和状态等核心概念。
  3. 这些练习将使您有机会了解这些概念在 API 中是如何被体现的,并了解如何将这些概念组合在一起来解决实际问题。

Tips:本课程为纯英文授课,同时配有中文技术专家支持解答问题。

讲师介绍:

主讲:

David:负责 Ververica 培训,Data Science Retreat 的老师和导师,建立了大数据工程课程并且带领团队构建了分析管道,推荐系统和可视化产品等。

协助:

  • Qinjun:Ververica 解决方案架构师,因斯布鲁克大学博士,专注于分布式计算和系统架构。
  • 戴资力(Gordon):Apache Flink PMC,Ververica Software Engineer,主要负责 Flink 的系统开发。
  • 宋辛童(五藏):阿里巴巴高级开发工程师,主要负责 Apache Flink 及阿里云实时计算中资源调度与管理机制的研发工作。

课程目录:

  • 介绍流计算和 Apache Flink
  • DataStream API 的基础
  • 为 Flink 开发做准备(包括练习)
  • 有状态的流处理(包括练习)
  • 时间、定时器和 ProcessFunction(包括练习)
  • 连接多个流(包括练习)
  • 测试(包括练习)

说明:不需要 Apache Flink 的相关知识。

中阶二:Apache Flink 运维培训

课程介绍

课程时长:1.5 天

课程目标:

  1. 本课程是针对 Apache Flink 应用程序的部署和操作相关的实践性介绍。
  2. 目标受众包括负责部署 Flink 应用程序和维护 Flink 集群的开发人员和运维人员。
  3. 演示将重点介绍 Flink 运行中涉及的核心概念,以及用于部署、升级和监控 Flink 应用程序的主要工具。

讲师介绍:

主讲:

  • 徐帅(辅机):阿里巴巴实时计算平台高级专家,目前负责 Flink CEP 引擎及部分 Runtime 模块。
  • 高赟(云骞):阿里巴巴技术专家,主要从事 Flink Runtime 层的设计与研发。
  • 朱翥(长耕):阿里巴巴技术专家,主要负责阿里云实时计算的调度和容错相关的工作。

协助:

  • 沙晟阳(成阳):阿里巴巴技术专家,目前主要关注 K8s 生态下的 Flink 研发。
  • 赵开兴(纯庚):阿里巴巴技术专家,对 Flink 和阿里云实时计算产品的技术特点、应用场景、应用过程可能遇到的问题有丰富的经验和理解。

课程目录:

  • 介绍流计算和 Apache Flink
  • 数据中心里的 Flink
  • 分布式架构介绍
  • 容器化部署(包括实际操作)
  • 状态后端和容错(包括实际操作)
  • 升级和状态迁移(包括实际操作)
  • 指标(包括实践)
  • 容量规划

说明:不需要对 Apache Flink 有先验知识。

中阶三:SQL 开发人员培训

课程介绍

课程时长:1.5 天

课程目标

  • 您将学习到如何充分发挥使用 SQL 来编写 Apache Flink 作业的潜力。
  • 我们将研究流式 SQL 的不同案例,包括连接流数据、维表关联、窗口聚合、维护物化视图,以及使用 MATCH RECOGNIZE 子句进行模式匹配(这是 SQL 2016 新提出的标准)。

讲师介绍:

主讲:

  • 伍翀(云邪):Apache Flink PMC,阿里巴巴技术专家,Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算。
  • 李锐:Apache Hive PMC,阿里巴巴技术专家,主要参与 Hive、HDFS、Spark 等开源项目。
  • 程鹤群(军长):阿里巴巴技术专家,核心参与 Flink Table API 相关的研发。
  • 陈玉兆(玉兆):Apache Calcite PMC,阿里巴巴高级工程师,参与 Flink 相关的研发。

协助:

  • 张冉,主要协助阿里巴巴集团内部及广大外部用户使用实时计算产品上的疑难杂症,致力于优化实时计算产品。

课程目录:

  • 介绍 SQL on Flink
  • 使用 SQL 查询动态表
  • 连接动态表
  • 模式匹配与 match_recognition
  • 生态系统&写外部表

说明:不需要 Apache Flink 的先验知识,但是需要基本的 SQL 知识。

高阶:Apache Flink 调优和问题排查

课程介绍

课程时长:1.5 天

课程目标:

  1. 介绍将流计算作业从早期 PoC 阶段慢慢过渡到生产过程中最常见的挑战,并且帮助大家一起消除它。
  2. 提供有用的故障诊断工具集,并介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧。
  3. 有机会使用新学习到的知识来解决一些异常 Flink 作业表现出来的问题。
  4. 归纳那些使作业没有进展或吞吐量没有达到预期,或作业延迟的常见原因。

讲师介绍:

主讲:

  • 唐云(茶干):阿里巴巴高级研发工程师,长期从事 Flink state & Checkpoint 相关研发,目前也积极参与 Flink on K8s 相关软件化输出开发和社区开发推广工作。
  • 邱从贤(山智):阿里巴巴高级研发工程师,专注于 Flink 核心引擎开发,主要从事 Flink State&Checkpoint 相关研发工作。
  • 周凯波(宝牛): 阿里巴巴技术专家,专注于基于Flink的一站式计算平台的建设。

协助:

  • 何健超(迟南):阿里巴巴技术专家,专注于基于 Flink 的新一代实时计算平台的建设。
  • 方舒:参与阿里巴巴实时计算产品服务,为集团内部及广大外部用户使用实时计算提供技术支持及产品方案的优化。

课程目录:

  • 时间和水印
  • 状态处理和状态后端
  • Flink 的容错机制
  • 检查点和保存点
  • DataStream API 和 ProcessFunction。

培训课程预约说明

培训系列课程为精品小班教学,19 位技术专家面对面指导,一天半深度实操教学,堪称 2019 年度最佳干货课程!大会倒计时最后一周,少量名额售完即止!课程详细说明:

  • 参加培训请选择购买 VIP 套票。中阶培训购买 VIP 套票 1,高阶培训购买 VIP 套票 2。
  • VIP 套票 1 可参与中阶所有课程,VIP 套票 2 可参与包括高阶、中阶培训在内的所有课程。
  • 培训课程咨询:微信(ID:candy1764)

点击下方链接可了解更多培训课程与 Flink Forward Asia 2019 大会信息,越早预约越能抓住时代先机~

https://developer.aliyun.com/special/ffa2019-training?spm=a2c6h.13239638.0.0.108f7955H8hcQ7

本文作者:巴蜀真人

原文链接

本文为云栖社区原创内容,未经允许不得转载。

Flink 实战:如何解决生产环境中的技术难题?的更多相关文章

  1. 使用Windbg找出死锁,解决生产环境中运行的软件不响应请求的问题

    前言 本文介绍本人的一次使用Windbg分析dump文件找出死锁的过程,并重点介绍如何确定线程所等待的锁及判断是否出现了死锁. 对于如何安装及设置Windbg请参考:<使用Windbg和SoS扩 ...

  2. IBM Thread and Monitor Dump Analyzer for Java解决生产环境中的性能问题

    这个工具的使用和 HeapAnalyzer 一样,非常容易,同样提供了详细的 readme 文档,这里也简单举例如下: #/usr/java50/bin/java -Xmx1000m -jar jca ...

  3. 理解Docker(6):若干企业生产环境中的容器网络方案

    本系列文章将介绍 Docker的相关知识: (1)Docker 安装及基本用法 (2)Docker 镜像 (3)Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境 ...

  4. 生产环境中CentOS7部署NET Core应用程序

    NET Core应用程序部署至生产环境中(CentOS7) 阅读目录 环境说明 准备你的ASP.NET Core应用程序 安装CentOS7 安装.NET Core SDK for CentOS7. ...

  5. 生产环境中使用Docker Swarm的一些建议

    译者按: 实践中会发现,生产环境中使用单个Docker节点是远远不够的,搭建Docker集群势在必行.然而,面对Kubernetes, Mesos以及Swarm等众多容器集群系统,我们该如何选择呢?它 ...

  6. Dubbo Mesh 在闲鱼生产环境中的落地实践

    本文作者至简曾在 2018 QCon 上海站以<Service Mesh 的本质.价值和应用探索>为题做了一次分享,其中谈到了 Dubbo Mesh 的整体发展思路是“借力开源.反哺开源” ...

  7. Vue Nginx反向代理配置 解决生产环境跨域

    Vue本地代理举例: module.exports = { publicPath: './', devServer: { proxy: { '/api': { target: 'https://mov ...

  8. SpringBoot+ShardingSphere彻底解决生产环境数据库字段加解密问题

    前言   互联网行业公司,对于数据库的敏感字段是一定要进行加密的,方案有很多,最直接的比如写个加解密的工具类,然后在每个业务逻辑中手动处理,在稍微有点规模的项目中这种方式显然是不现实的,不仅工作量大而 ...

  9. .NET跨平台之旅:在生产环境中上线第一个运行于Linux上的ASP.NET Core站点

    2016年7月10日,我们在生产环境中上线了第一个运行于Linux上的ASP.NET Core站点,这是一个简单的提供后端服务的ASP.NET Core Web API站点. 项目是在Windows上 ...

随机推荐

  1. 003/node.js--代理服务(解决跨域问题)

    业务描述: 1.web前端发送http请求 2.web后端为https协议 如何保证web前端发送http请求到web后端(跨域问题:域名不一致即跨域), 因此用node.js写了个代理服务,转发前端 ...

  2. 13 (H5*) JS第三天 数组、函数

    目录 1:数组的定义和创建方式 2:数组的总结 3:for循环遍历数组 4:数组的案例 5:冒泡排序 6:函数的定义 7:函数的参数 8:函数的返回值 复习 <script> /* * * ...

  3. java Map与Bean相互转化

    import java.beans.BeanInfo; import java.beans.IntrospectionException; import java.beans.Introspector ...

  4. Yarn 工作机制

    1.工作机制详述 (1)MR程序提交到客户端所在的节点. (2)YarnRunner向ResourceManager申请一个Application. (3)RM将该应用程序的资源路径返回给YarnRu ...

  5. python爬虫相关安装与应用

    1.mysql数据库用于存储大量数据. 2.Navicat for MySQL以图形和表格等形式管理数据库工具. 3.编程语言python3与环境配置 4.pythcharm集成开发环境(社区版)不需 ...

  6. linux安装curl出错

    今天配置一台server的php支持curl的时候, 出现如下报错 checking for cURL in default path... not foundconfigure: error: Pl ...

  7. 2.golang应用目录结构和GOPATH概念

    golang 语言有一个GOPATH的概念就是当前工作目录 [root@localhost golang_test]# tree . ├── bin │   └── hello ├── first.g ...

  8. select,poll 和 epoll ??

    其实所有的 I/O 都是轮询的方法,只不过实现的层面不同罢了. 其中 tornado 使用的就是 epoll 的. selec,poll 和 epoll 区别总结 基本上 select 有 3 个缺点 ...

  9. 洛谷 - P4008 - 文本编辑器 - 无旋Treap

    https://www.luogu.org/problem/P4008 无旋Treap也可以维护序列. 千万要注意要先判断p节点存在才进行Show操作,不然输出一个'\0'(或者RecBin里面的东西 ...

  10. 问题 M: 最亲密的x个人

    问题 M: 最亲密的x个人 时间限制: 1 Sec  内存限制: 128 MB提交: 412  解决: 38[提交] [状态] [命题人:jsu_admin] 题目描述 有一天,地球受到了降维打击,从 ...