Calcite源码分析,参考: http://matt33.com/2019/03/07/apache-calcite-process-flow/ https://matt33.com/2019/03/17/apache-calcite-planner/ Rule作为Calcite查询优化的核心, 具体看几个有代表性的Rule,看看是如何实现的 最简单的例子,Join结合律,JoinAssociateRule 首先所有的Rule都继承RelOptRule类 /** * Planner rule…

RelTrait 表示RelNode的物理属性 由RelTraitDef代表RelTrait的类型 /** * RelTrait represents the manifestation of a relational expression trait within * a trait definition. For example, a {@code CallingConvention.JAVA} is a trait * of the {@link ConventionTraitDef} t…

参考,https://matt33.com/2019/03/17/apache-calcite-planner/ Volcano模型使用,分为下面几个步骤, //1. 初始化 VolcanoPlanner planner = new VolcanoPlanner(); //2.addRelTrait planner.addRelTraitDef(ConventionTraitDef.INSTANCE); planner.addRelTraitDef(RelDistributionTraitDef…

JUnit Rule简述 Rule是JUnit 4.7之后新加入的特性,有点类似于拦截器,可以在测试类或测试方法执行前后添加额外的处理,本质上是对@BeforeClass, @AfterClass, @Before, @After等的另一种实现,只是功能上更灵活多变,易于扩展,且方便在类和项目之间共享. JUnit的Rule特性提供了两个注解@Rule和@RuleClass,大体上说@Rule可以与@Before及@After对应,@ClassRule可以与@BeforeClass及@After…

[源码分析]从"UDF不应有状态" 切入来剖析Flink SQL代码生成 (修订版) 目录 [源码分析]从"UDF不应有状态" 切入来剖析Flink SQL代码生成 (修订版) 0x00 摘要 0x01 概述结论 1. 问题结论 2. 问题流程 0x02 UDX 1. UDX (自定义函数) 2. 自定义标量函数 Scalar Functions (UDF) 3. 自定义聚合函数(UDAF) 4. 自定义表值函数(UDTF) 5. RichFunction 0x03…

本文源码基于flink1.14 上一篇文章分析了<flink的minibatch微批处理>的源码 乘热打铁分析一下两阶段聚合的源码,因为使用两阶段要先开启minibatch,至于为什么后面会分析到 两阶段聚合的原理,还是简单提一下 如下图,当聚合发生热点的时候,可以在聚合前,先进行一个本地的聚合,先减小数据量,后接正常的数据交换以后聚合,来达到一个解热点的目的, 先来看下两阶段聚合的Calcite优化rule 看下什么情况会匹配上 并且在onmatch方法中会判断开启了minibatch,以及…

之前分析route方法的时候,可以看到中间会调用add_url_rule方法,add_url_rule方法和route方法一样属于Flask这个类的. add_url_rule方法主要用来连接url规则.具体工作方法和route类似.如果提供了视图函数,它将会和endpoint名字一起被注册 #装饰器使用方法: @app.route('/') def index(): pass # 等同与下面这种方法: def index(): pass app.add_url_rule('/', 'index…

目录 Hive SQL执行流程 Hive debug简单介绍 Hive SQL执行流程 Hive 使用Calcite优化 Hive Calcite优化流程 Hive Calcite使用细则 Hive向Calcite提供元数据 上一篇主要对Calcite的背景,技术特点,SQL的RBO和CBO等做了一个初步的介绍.深入浅出Calcite与SQL CBO(Cost-Based Optimizer)优化 这一篇会从Hive入手,介绍Hive如何使用Calcite来优化自己的SQL,主要从源码的角度进行…

本文源码基于flink1.14 平台用户在使用我们的flinkSql时经常会开启minaBatch来优化状态读写 所以从源码的角度具体解读一下miniBatch的原理 先看一下flinksql是如何触发miniBatch的优化的 主要就是这个Calcite的rule了,来具体看一下 在对应的match方法中 会根据miniBatch的类型判断,是否需要添加一个Assigner的节点 这个assigner是干嘛的呢?这个Assinger是一个execNode和窗口的assigner是不一样的,这里…

概述 物化视图和视图类似,反映的是某个查询的结果,但是和视图仅保存SQL定义不同,物化视图本身会存储数据,因此是物化了的视图. 当用户查询的时候,原先创建的物化视图会注册到优化器中,用户的查询命中物化视图后,会直接去物化视图拿数据(缓存),提高运行速度,是典型的空间换时间. 本篇文章会先介绍<Optimizing Queries Using Materialized Views: A Practical, Scalable Solution>如果改写物化视图,接下来会说明 calcite 的物…

从"UDF不应有状态" 切入来剖析Flink SQL代码生成 目录 从"UDF不应有状态" 切入来剖析Flink SQL代码生成 0x00 摘要 0x01 概述结论 1. 问题结论 2. 问题流程 0x02 实例代码 1. UDF函数 2. 测试代码 3. 输出结果 0x03 Flink SQL UDF转换流程 1. LogicalFilter 2. FilterToCalcRule 3. LogicalCalc 4. DataSetCalc 5. generate…

基于flink1.14的源码做解析 公司内有很多业务方都在使用我们Flink sql平台做TopN的计算,今天同事突然问到我,Flink sql 是怎么实现topN的 ? 蒙圈了,这块源码没看过啊 ,业务要问起来怎么办,赶快打开源码补一下 拿到这个问题先冷静分析一下范围 首先肯定属于Flink sql模块,源码里面肯定是在flink-table-planner包里面,接着topN那不就是ROW_NUMBER嘛,是个函数呀 既然如此那就从flink源码的系统函数作为线索开始找起来,来到 org.a…

Spiders Spider类定义了如何爬取某个(或某些)网站.包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item). 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方. 对spider来说,爬取的循环类似下文: 以初始的URL初始化Request,并设置回调函数. 当该request下载完毕并返回时,将生成response,并作为参数传给该回调函数. spider中初始的request是通过调用 start_requests…

学习Scrapy过程中发现用Scrapy下载图片时,总是以他们的URL的SHA1 hash值为文件名,如: 图片URL:http://www.example.com/image.jpg 它的SHA1 hash值为:3afec3b4765f8f0a07b78f98c07b83f013567a0a 则下载的图片为:3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg 目的是下载的图片为:image.jpg或者xxx.jpg 可以通过编写Pipeline来实现. 以…

之前写了一篇用scrapy框架爬取自己博文的博客,后来发现对于中文的处理一直有问题- - 显示的时候 [u'python\u4e0b\u722c\u67d0\u4e2a\u7f51\u9875\u7684\u56fe\u7247 - huhuuu - \u535a\u5ba2\u56ed'] 而不是 python下爬某个网页的图片 - huhuuu - 博客园.这显然不是我们需要的结果. 现在如何把列表中的字符串转到字符串,显然不能直接用str! 那就遍历列表,把信息提取出来. def chan…

scrapy框架是个比较简单易用基于python的爬虫框架,http://scrapy-chs.readthedocs.org/zh_CN/latest/ 这个是不错的中文文档 几个比较重要的部分: items.py:用来定义需要保存的变量,其中的变量用Field来定义,有点像python的字典 pipelines.py:用来将提取出来的Item进行处理,处理过程按自己需要进行定义 spiders:定义自己的爬虫 爬虫的类型也有好几种: 1)spider:最基本的爬虫,其他的爬虫一般是继承了该最…

安装FindBugs直接查找eclipse的商店,查找spot Bugs 插件,安装即可 完成安装之后重启eclipse,右击项目文件或目录,会发现多了Findbugs的菜单: 使用Findbugs 1. 选择指定的包或者类进行findbug, 右键包或者类,在弹出的对话框中选择Find bugs -> Find Bugs即可. 2.Show view, 中添加findbugs explorer , 可以看到对应的错误信息 3.找出的bug有3中颜色, 黑色的臭虫标志是分类, 红色的臭虫表示严重…

Spiders Spider类定义了怎样爬取某个(或某些)站点.包含了爬取的动作(比如:是否跟进链接)以及怎样从网页的内容中提取结构化数据(爬取item). 换句话说.Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方. 对spider来说.爬取的循环类似下文: 以初始的URL初始化Request,并设置回调函数. 当该request完成下载并返回时,将生成response,并作为參数传给该回调函数. spider中初始的request是通过调用 start_requests…

Spider 类定义了如何爬取某个(或某些)网站.包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item).Spider就是定义爬取的动作以及分析某个网页(或者有些网页)的地方. 对 spider 来说,爬取的循环类似下文: 1. 以初始的 URL 初始化 Request,并设置回调函数.当该 request 下载完毕并返回时,将生成 response,并作为参数传回给该回调函数. spider 中初始的 request 是通过调用 start_requests…

findBugs错误英文翻译rule.findbugs.IMSE_DONT_CATCH_IMSE.name=不良实践 - 捕获可疑IllegalMonitorStateException rule.findbugs.BX_BOXING_IMMEDIATELY_UNBOXED.name=性能 - 基本类型包装之后立刻解包 rule.findbugs.IJU_SETUP_NO_SUPER.name=使用错误 - TestCase定义的setUp没有调用super.setUp() rule.findb…

目录 联盛德 HLK-W806 (一): Ubuntu20.04下的开发环境配置, 编译和烧录说明 联盛德 HLK-W806 (二): Win10下的开发环境配置, 编译和烧录说明 联盛德 HLK-W806 (三): 免按键自动下载和复位 联盛德 HLK-W806 (四): 软件SPI和硬件SPI驱动ST7735液晶LCD 联盛德 HLK-W806 (五): W801开发板上手报告 联盛德 HLK-W806 (六): I2C驱动SSD1306 128x64 OLED液晶屏 联盛德 HLK-W80…

首先写在最前面,MyCAT1.4的alpha版本已经发布了,这里面修复了不少的bug,也完善了一细节,之前两篇博客已经做了一些修改 ---------------------------------------------------------------------------------这才是本体~----------------------------------------------------------------------------------            之前已…

标注@Rule TestRule是一个工厂方法模式中的Creator角色--声明工厂方法. package org.junit.rules; import org.junit.runner.Description; import org.junit.runners.model.Statement; public interface TestRule { Statement apply(Statement base, Description description); } 因为工厂方法apply有…

在各种数据挖掘算法中,关联规则挖掘算是比較重要的一种,尤其是受购物篮分析的影响,关联规则被应用到非常多实际业务中,本文对关联规则挖掘做一个小的总结. 首先,和聚类算法一样,关联规则挖掘属于无监督学习方法,它描写叙述的是在一个事物中物品间同一时候出现的规律的知识模式,现实生活中,比方超市购物时,顾客购买记录经常隐含着非常多关联规则.比方购买圆珠笔的顾客中有65%也购买了笔记本.利用这些规则.商场人员能够非常好的规划商品摆放问题: 为叙述方便.设R= { I1,I2 ......Im} 是一组物品集…

目录 文章目录 目录 创建 Listener 创建 Pool 创建 Member CalculateDelta HandleNetworkDeltas AmphoraePostNetworkPlug ListenersUpdate 创建 L7policy & L7rule & Health Monitor 创建 Listener 我们知道只有为 loadbalancer 创建 listener 时才会启动 haproxy 服务进程. 从 UML 可知,执行指令 openstack load…

Apache Calcite是什么东东 Apache Calcite面向Hadoop新的sql引擎,它提供了标准的SQL语言.多种查询优化和连接各种数据源的能力.除此之外,Calcite还提供了OLAP和流处理的查询引擎.它2013年成为了Apache孵化项目以来,在Hadoop中越来越引人注目,并被众多项目集成.比如Flink/Storm/Drill/Phoenix都依赖它做sql解析和优化. Flink 结合 Calcite Flink Table API&SQL 为流式数据和静态数据的关系…

文章标题 One SQL to Rule Them All – an Efficient and Syntactically Idiomatic Approach to Management of Streams and Tables 用SQL统一所有:一种有效的.语法惯用的流和表管理方法 syntactically 句法上;语法上;句法;句法性地;句法特征 idiomatic [ˌɪdiəˈmætɪk] 惯用的;合乎语言习惯的;习语的 approach [əˈproʊtʃ] v.(在距离或时间…

摘要:2019大数据技术公开课第一季<技术人生专访>,来自阿里云计算平台事业部高级开发工程师雷春蔚向大家讲述了MaxCompute 与 Calcite 的技术和故事. 具体内容包括: 1) 什么是查询优化器:2)MaxCompute查询优化器的具体实践:3)MaxCompute后续计划:4)从校招到阿里巴巴工程师到Calcite committer,他经历了怎样的个人成长. 以下内容根据演讲视频以及PPT整理而成. 一.查询优化器简介 大家都知道,数据库一般由三部分组成,分别是解析器.优化器和…

[源码分析] 带你梳理 Flink SQL / Table API内部执行流程 目录 [源码分析] 带你梳理 Flink SQL / Table API内部执行流程 0x00 摘要 0x01 Apache Calcite 1. Calcite 概念 2. Calcite 处理流程 0x02 Flink SQL综述 1. Flink关系型API执行原理 2. Flink Sql 执行流程 3. Flink Table Api 执行流程 4. Flink Table/SQL 执行流程的异同 0x03…

因为目前我司使用的版本还是和Blink对齐的版本,所以本文还是先针对Blink中对于回撤的实现来进行源码分析. 概念 回撤这个概念,是流计算中特有的,简单理解起来就是将先前的计算结果回撤,那什么场景下会出现回撤呢?当"中间计算结果"被提前下发时,后续更新结果时,需要将先前的中间值回撤,并下发更新后的值.因此回撤的使用场景,主要是在会产生中间计算结果的场景. 在流计算中,因为上游的数据集是持续流入的,因此计算的结果都是中间结果.例如 group aggregate 计算中,每来一条数据,…