命令操作 进行flink的安装目录 动态上传jar包启动job ./bin/flink run -c com.test.CountMain -P 3 Test-1. 0-SNAPSHOT.jar --host localhost --port 6379 参数说明 -c : 后面的jar包里面的main类的路径 -P :是执行的线程数目 Test-1. 0-SNAPSHOT.jar  这个是jar包名称 --host localhost --port 6379 是设置的参数 是否需要根据自己的来

传统的大数据处理方式一般是批处理式的,也就是说,今天所收集的数据,我们明天再把今天收集到的数据算出来,以供大家使用,但是在很多情况下,数据的时效性对于业务的成败是非常关键的. Spark 和 Flink 都是通用的开源大规模处理引擎,目标是在一个系统中支持所有的数据处理以带来效能的提升.两者都有相对比较成熟的生态系统.是下一代大数据引擎最有力的竞争者. Spark 的生态总体更完善一些,在机器学习的集成和易用性上暂时领先. Flink 在流计算上有明显优势,核心架构和模型也更透彻和灵活一些. 本

本文翻译自官网:Streaming Concepts  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/ Flink Table Api & SQL 翻译目录 Flink的Table API和SQL支持是用于批处理和流处理的统一API.这意味着Table API和SQL查询具有相同的语义,无论它们的输入是有界批处理输入还是无界流输入.因为关系代数和SQL最初是为批处理而设计的,所以对无

Flink 官网 Table Api & SQL  相关文档的翻译终于完成,这里整理一个安装官网目录顺序一样的目录 [翻译]Flink Table Api & SQL —— Overview [翻译]Flink Table Api & SQL —— 概念与通用API [翻译]Flink Table Api & SQL —— 数据类型 [翻译]Flink Table Api & SQL —Streaming概念 [翻译]Flink Table Api & SQ

本文翻译自官网:Streaming Aggregation  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/tuning/streaming_aggregation_optimization.html Flink Table Api & SQL 翻译目录 SQL是用于数据分析的最广泛使用的语言.Flink的Table API和SQL使用户能够以更少的时间和精力定义高效的流分析应用程序.而且,Flink

本文翻译自官网:Configuration https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/config.html Flink Table Api & SQL 翻译目录 默认情况下,Table&SQL API已预先配置为产生具有可接受性能的准确结果. 根据表程序的要求,可能需要调整某些参数以进行优化.例如,无界流程序可能需要确保所需的状态大小是有上限的(请参阅流概念). 总览 执行选项 优化器选项

本文翻译自官网:Use Hive connector in scala shell  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/hive/scala_shell_hive.html Flink Table Api & SQL 翻译目录 Flink Scala Shell 是尝试 flink 的便捷方法. 您也可以在 scala shell 中使用 hive,而不是在pom文件中指定 hive 依赖关

本文翻译自官网:Hive Functions  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/hive/hive_functions.html Flink Table Api & SQL 翻译目录 用户可以在Flink中使用 Hive 现有的自定义函数. 支持的UDF类型包括: UDF GenericUDF GenericUDTF UDAF GenericUDAFResolver2 根据查询的计划和执行

本文翻译自官网:SQL Client Beta  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sqlClient.html Flink Table Api & SQL 翻译目录 Flink的Table&SQL API使使用SQL语言编写的查询成为可能,但是这些查询需要嵌入用Java或Scala编写的表程序中. 此外,在将这些程序提交给集群之前,需要将它们与构建工具打包在一起. 这或多或少地将Fl

本文翻译自官网:Reading & Writing Hive Tables  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/hive/read_write_hive.html Flink Table Api & SQL 翻译目录 使用HiveCatalog和Flink的Hive连接器,Flink可以读取和写入Hive数据,以替代Hive的批处理引擎.确保遵循说明在您的应用程序中包括正确的依赖项.

本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/ Flink Table Api & SQL 翻译目录 一直没有用 flink 的 table 或 sql api,最近开始要使用这部分功能了,先把官网对应的文档翻译一遍,方便自己慢慢查看 ----------------------------------------------- Apache Flink 具有两个关联 API-Table

本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/common.html Flink Table Api & SQL 翻译目录 Table API和SQL集成在共同API中.该API的中心概念是Table,用作查询的输入和输出.本文档介绍了使用Table API和SQL查询的程序的通用结构,如何注册 Table,如何查询Table以及如何发出 Table(数据). 两个 planner 之间

本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/types.html Flink Table Api & SQL 翻译目录 由于历史原因,在 Flink 1.9之前,Flink 的  Table和SQL API 数据类型与 Flink TypeInformation 紧密相关.TypeInformation 在 DataStream 和 DataSet API 中使用,并且足以描述在分布式

本文翻译自官网:Flink Table Api & SQL 动态表 https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/dynamic_tables.html Flink Table Api & SQL 翻译目录 SQL和关系代数在设计时并未考虑流数据.所以,关系代数(和SQL)与流处理之间在概念上有一些差距. 本页讨论了这些差异,并说明了Flink如何在无界数据上实现与常规数据库引

本文翻译自官网: Time Attributes   https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/time_attributes.html Flink Table Api & SQL 翻译目录 Flink能够根据不同的时间概念处理流数据. Process time 是指正在执行相应操作的机器的系统时间(也称为“挂钟时间”). Event time 是指基于附在每行上的时间戳对流数据

本文翻译自官网 :  Joins in Continuous Queries   https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/joins.html Flink Table Api & SQL 翻译目录 Join 是批量数据处理中连接两个关系行的常见且易于理解的操作.但是,动态表上的 join 语义不那么明显,甚至令人困惑. 因此,有一些方法可以使 Table API或SQL实际执行

本文翻译自官网: Temporal Tables https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/temporal_tables.html Flink Table Api & SQL 翻译目录 时态表(注:Temporal Table , 我翻译为时态表,可以访问表在不同时间的内容)表示一直在修改的表上的(参数化)视图的概念,该视图返回表在特定时间点的内容. 更改表可以是跟踪表的修改历

本文翻译自官网:Detecting Patterns in Tables Beta  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/match_recognize.html Flink Table Api & SQL 翻译目录 搜索一组事件模式是一种常见的用例,尤其是在数据流的情况下.Flink带有一个复杂的事件处理(CEP)库 ,该库允许在事件流中进行模式检测.此外,Flink的S

本文翻译自官网:Query Configuration  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/query_configuration.html Flink Table Api & SQL 翻译目录 表API和SQL查询具有相同的语义,无论其输入是有界批处理输入还是无界流输入.在许多情况下,对流输入的连续查询能够计算与脱机计算的结果相同的准确结果. 但是,这在一般情况下是不可

本文翻译自官网:Connect to External Systems  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/connect.html Flink Table Api & SQL 翻译目录 注:本文对应代码段为多种格式,影响文章篇幅,所以只选取其中一种类似列入,全部内容见官网对应页面 Flink 的 Table API 和 SQL 程序可以连接到其他外部系统,以读取和写入批处理表和流式表.表源

本文翻译自官网:Table API  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/tableApi.html Flink Table Api & SQL 翻译目录 Table API是用于流和批处理的统一的关系API. Table API查询可以在批处理或流输入上运行而无需修改. Table API是SQL语言的超集,是专门为与Apache Flink配合使用而设计的. Table API是用于Sca