摘要: 如同我们去年12月在 Flink Forward China 峰会所约,阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源.今天,我们终于等到了这一刻. 阿里妹导读:如同我们去年12月在 Flink Forward China 峰会所约,阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源.今天,我们终于等到了这一刻. 阿里资深技术专家大沙,将为大家详细介绍本次开源的Blink主要功能和优化点,希望与业界同仁共同携手,推动Flin…

从flink的官方文档,我们知道flink的编程模型分为四层,sql层是最高层的api,Table api是中间层,DataStream/DataSet Api 是核心,stateful Streaming process层是底层实现. 其中, flink dataset api使用及原理 介绍了DataSet Api flink DataStream API使用及原理介绍了DataStream Api flink中的时间戳如何使用?---Watermark使用及原理 介绍了底层实现的基础Wat…

[源码分析] 带你梳理 Flink SQL / Table API内部执行流程 目录 [源码分析] 带你梳理 Flink SQL / Table API内部执行流程 0x00 摘要 0x01 Apache Calcite 1. Calcite 概念 2. Calcite 处理流程 0x02 Flink SQL综述 1. Flink关系型API执行原理 2. Flink Sql 执行流程 3. Flink Table Api 执行流程 4. Flink Table/SQL 执行流程的异同 0x03…

[源码分析]从"UDF不应有状态" 切入来剖析Flink SQL代码生成 (修订版) 目录 [源码分析]从"UDF不应有状态" 切入来剖析Flink SQL代码生成 (修订版) 0x00 摘要 0x01 概述结论 1. 问题结论 2. 问题流程 0x02 UDX 1. UDX (自定义函数) 2. 自定义标量函数 Scalar Functions (UDF) 3. 自定义聚合函数(UDAF) 4. 自定义表值函数(UDTF) 5. RichFunction 0x03…

简介: 本文由阿里巴巴技术专家周凯波(宝牛)分享,主要介绍如何跑通第一个SQL. 一.SQL的基本概念 1.SQL 分类 SQL分为四类,分别是数据查询语言(DQL).数据操纵语言(DML).数据定义(DDL)语言和数据控制语言(DCL).今天将介绍前三种语言的使用. 接下来介绍几个基本概念. 2.SQL 开发 ● Scripts,即SQL文本.在SQL文本里面可以写上文介绍的前三种语言:● Schema,即元数据.SQL里面需要使用的表和函数,是通过Schema进行定义的:● Artifact…

本文翻译自官网:Catalogs Beta  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/catalogs.html Flink Table Api & SQL 翻译目录 Catalogs 提供元数据,例如数据库,表,分区,视图以及访问存储在数据库或其他外部系统中的数据所需的功能和信息. 数据处理的最关键方面之一是管理元数据.它可能是临时元数据,例如临时表,或者是针对表环境注册的 UDF.或永久性元数…

Where did we come from? With the 0.9.0-milestone1 release, Apache Flink added an API to process relational data with SQL-like expressions called the Table API. The central concept of this API is a Table, a structured data set or stream on which relat…

Apache Calcite是什么东东 Apache Calcite面向Hadoop新的sql引擎,它提供了标准的SQL语言.多种查询优化和连接各种数据源的能力.除此之外,Calcite还提供了OLAP和流处理的查询引擎.它2013年成为了Apache孵化项目以来,在Hadoop中越来越引人注目,并被众多项目集成.比如Flink/Storm/Drill/Phoenix都依赖它做sql解析和优化. Flink 结合 Calcite Flink Table API&SQL 为流式数据和静态数据的关系…

本文会主要讲三种udf: ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征,因为他极大地扩展了查询的表达能力.本文除了介绍这三种udf之外,最后会介绍一个redis作为交互数据源的udf案例. 注册用户自定义函数 在大多数场景下,用户自定义函数在使用之前是必须要注册的.对于Scala的Table API,udf是不需要注册的. 调用TableEnvironment的registerFunction()方法来实现注册.…

从flink的官方文档,我们知道flink的编程模型分为四层,sql层是最高层的api,Table api是中间层,DataStream/DataSet Api 是核心,stateful Streaming process层是底层实现. 其中, flink dataset api使用及原理 介绍了DataSet Api flink DataStream API使用及原理介绍了DataStream Api flink中的时间戳如何使用?---Watermark使用及原理 介绍了底层实现的基础Wat…