基于iceberg的master分支的9b6b5e0d2(2022-2-9)。

参数说明

1、PARTIAL_PROGRESS_ENABLED(partial-progress.enabled)

默认为 false。该参数能够让合并任务以group为单位做提交,当其中一个group任务失败,可以单独对该group任务重试。

2、USE_STARTING_SEQUENCE_NUMBER(use-starting-sequence-number)

默认为 true。

该参数使用做合并时的sequenceNumber作为新的数据文件的sequenceNumber。

测试

一、append方式生成 a,b,c三个snapshot,基于b做文件合并。

模拟的场景是:已存在a,b快照,现在基于b快照做小文件合并,但任务还未完成时,另一条数据流基于b快照做了append类型的数据:

右:USE_STARTING_SEQUENCE_NUMBER,下:PARTIAL_PROGRESS_ENABLED true false
true 成功 成功
false 成功 成功
  • 成功:生成新的快照,最终snapshot是 a,b,c,d。

  • 新生成的大文件是基于a,b的数据文件的总和,

  • 快照d中包含了c的数据,以及基于a,b合并的数据。

  • a,b,c,d对应的squenceNumber分别是1,2,3,4:

    USE_STARTING_SEQUENCE_NUMBER 为 true时,d里面生成的新的大文件对应的manifest的squeceid是用的以前的2,删除的manifest用的是新的id4

    USE_STARTING_SEQUENCE_NUMBER 为 false 时,d里面合并任务使用的全都是最新的id

结论:

1、纯append流的数据,做小文件合并都能成功。

2、可以通过设置 USE_STARTING_SEQUENCE_NUMBER 字段来控制合并任务中的manifest的squencyNumber。

二、append方式生成 a,b,c 三个 snapshot,先基于c做一次合并,合并成功后,基于c再做一次合并。

模拟的场景是,基于c快照做小文件合并,该任务还未完成,又启动了一个基于c快照做小文件合并的任务:

右:USE_STARTING_SEQUENCE_NUMBER,下:PARTIAL_PROGRESS_ENABLED true false
true 成功,但没生成新快照 成功,但没生成新快照
false 失败 失败
  • 成功,但没生成新快照:只是表示该任务是完整执行了,没有出现异常退出的情况,但最终并未生成新的快照。PARTIAL_PROGRESS_ENABLED 设置 true,会打印出异常信息,但由于是部分提交,这些异常被忽略,最终程序执行成功,但也没有生成新的 snapshot。Failure during rewrite commit process, partial progress enabled. Ignoring。
  • 失败:提示 Cannot commit rewrite because of a ValidationException or CommitFailedException. This usually means that this rewrite has conflicted with another concurrent Iceberg operation. To reduce the likelihood of conflicts, set partial-progress.enabled which will break up the rewrite into multiple smaller commits controlled by partial-progress.max-commits. Separate smaller rewrite commits can succeed independently while any commits that conflict with another Iceberg operation will be ignored. This mode will create additional snapshots in the table history, one for each commit.

结论:目前功能上不能基于同一个快照做多次合并,只会成功一次。

三、append方式生成 a,b 两个snapshot,对a的数据做更新生成c,再基于b做文件合并。

模拟的场景是:基于b快照做合并,此时还未完成,另一条数据流对a快照中的数据做了更新,且提交成功生成了c快照:

右:USE_STARTING_SEQUENCE_NUMBER,下:PARTIAL_PROGRESS_ENABLED true false
true 成功 成功,但没生成新快照
false 成功 失败
  • 失败:提示 Cannot commit, found new delete for replaced data file。
  • 成功,生成最新快照d,生成快照a,b中数据合并的大文件
  • 成功,但没生成新的快照:参考上面说明

结论:在合并的过程中,有另一条数据流对需要合并的数据做修改,可以通过设置 USE_STARTING_SEQUENCE_NUMBER 来使任务成功。

四、append方式生成 a,b,c 三个snapshot,对c的数据做更新生成d,再基于b做文件合并。

模拟的场景:基于b快照做合并,此时还未完成,另一条数据流先做append,生成了c快照,然后又对c快照里的数据做修改生成了快照d:

右:USE_STARTING_SEQUENCE_NUMBER,下:PARTIAL_PROGRESS_ENABLED true false
true 成功 成功,但没生成新快照
false 成功 失败
  • 失败,提示:

    Cannot commit, found new delete for replaced data file

    Cannot commit rewrite because of a ValidationException or CommitFailedException. This usually means that this rewrite has conflicted with another concurrent Iceberg operation. To reduce the likelihood of conflicts, set partial-progress.enabled which will break up the rewrite into multiple smaller commits controlled by partial-progress.max-commits. Separate smaller rewrite commits can succeed independently while any commits that conflict with another Iceberg operation will be ignored. This mode will create additional snapshots in the table history, one for each commit.

因为在获取文件的时候,此时只能读取到a和b下的数据文件,a和b下没有delete文件,所以没有读取a和b下数据文件的min和max。 在做merge的时候,最新的snapshot是d,此时有delete文件,所以需要判断该delete文件是否能够匹配上前面读取的数据文件。匹配条件有两个,一个是sequenceNumber,一个是最大最小值是否有交集。delete的文件是后生成的,它的sequenceNumber肯定是大于前面a,b下的数据文件,所以该条件满足。因为在读取a,b下的数据文件的时候,没有读取min,max,导致不能够跟delete文件做值的交叉范围判断,所以data文件中被关联了delete文件,所以这种情况下,虽然只对 a和b做合并,且后续修改的数据文件没有被修改,但依然会合并失败。

如果在读取a,b下数据文件的时候,把对应的min,max也读取上来,那么就可以合并成功,对应流程在 ManifestGroup.planFiles中,读取内容由 columns 决定。

  • 成功:生成最新快照e,最终的快照为:a,b,c,d,e
  • 成功,但没生成新的快照:参考上面说明

结论:虽然后续修改的数据并不在合并的数据中,但USE_STARTING_SEQUENCE_NUMBER为false依然会失败,具体原因已在上面说明。

结论

1、PARTIAL_PROGRESS_ENABLED

当该参数为true时,虽然它最终能让任务执行完成,但实际上它忽略子提交失败的情况,所以实际有没有做合并与该参数无关。

2、USE_STARTING_SEQUENCE_NUMBER

设置该参数为true,可以修改新生成的dataFile和manifest的sequenceNumber为原来的number,这样在读取数据的时候,就可以把delteFile应用到新生成的dataFile中了,可以解决大多数数据冲突的情况。

iceberg合并小文件冲突测试的更多相关文章

  1. HDFS 07 - HDFS 性能调优之 合并小文件

    目录 1 - 为什么要合并小文件 2 - 合并本地的小文件,上传到 HDFS 3 - 合并 HDFS 的小文件,下载到本地 4 - 通过 Java API 实现文件合并和上传 版权声明 1 - 为什么 ...

  2. Hadoop HDFS编程 API入门系列之合并小文件到HDFS(三)

    不多说,直接上代码.  代码 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs7; import java.io.IOException;import ja ...

  3. [转载]mapreduce合并小文件成sequencefile

    mapreduce合并小文件成sequencefile http://blog.csdn.net/xiao_jun_0820/article/details/42747537

  4. Hive 利用 on tez 引擎 合并小文件

    Hive 利用 on tez 引擎 合并小文件 标签(空格分隔): Hive \[f(N) + \sum_{i=2}^N f(N-i+1)*X_i\] SET hive.exec.dynamic.pa ...

  5. hadoop 使用map合并小文件到SequenceFile

    上一例是直接用SequenceFile的createWriter来实现,本例采用mapreduce的方式. 1.把小文件整体读入需要自定义InputFormat格式,自定义InputFormat格式需 ...

  6. Hadoop合并小文件的几种方法

    1.Hadoop HAR 将众多小文件打包成一个大文件进行存储,并且打包后原来的文件仍然可以通过Map-Reduce进行操作,打包后的文件由索引和存储两大部分组成: 缺点: 一旦创建就不能修改,也不支 ...

  7. hadoop spark合并小文件

      一.输入文件类型设置为 CombineTextInputFormat hadoop job.setInputFormatClass(CombineTextInputFormat.class) sp ...

  8. Facebook-Haystack合并小文件

    1.原文 https://www.usenix.org/legacy/event/osdi10/tech/full_papers/Beaver.pdf 2.翻译版 http://www.importn ...

  9. Hadoop实战项目:小文件合并

    项目背景 在实际项目中,输入数据往往是由许多小文件组成,这里的小文件是指小于HDFS系统Block大小的文件(默认128M),早期的版本所定义的小文件是64M,这里的hadoop-2.2.0所定义的小 ...

随机推荐

  1. java(基于springboot项目或maven项目均可) 操作mongodb

    一.引入mongodb 坐标依赖<dependency> <groupId>org.mongodb</groupId> <artifactId>mong ...

  2. .NET Core 自定义中间件 Middleware

    引言 很多看了上一章的朋友私信博主,问如何自定义,自己的中间件(Middleware),毕竟在实际的项目中,大家会有很多需求要用到中间件,比如防盗链.缓存.日志等等功能,于是博主这边就简单讲解一下框架 ...

  3. vue项目再HBuilder打包成app后,有ui模块未添加的弹窗

    直接在打包后的mainifst.json的文件夹中加入标注部分,我是这样解决了的

  4. CSS设置标签、图片放大、缩小、旋转、移动(tranform)

    CSS设置标签.图片放大.缩小.旋转.移动(tranform) 1.缩小和放大属性(scale) 格式:tranform:缩小类型(数值): 注意:缩小和放大都是 scale : 其中的值(0~1)代 ...

  5. lua之自索引

    Father={ a=100, b=200 } function Father:dis() print(self.a,self.b) end Father.__index=Father Son= { ...

  6. gin框架中的路由

    基本路由 gin框架中采用的路由库是基于httrouter做的 地址为:https://github.com/julienschmidt/httprouter httprouter路由库 点击查看代码 ...

  7. Python3 生成激活码

    1.文档: string模块:https://docs.python.org/3/library/string.html random模块:https://docs.python.org/3/libr ...

  8. 『无为则无心』Python函数 — 35、Python中的闭包

    目录 1.闭包的概念 2.实现一个闭包 3.在闭包中外函数把临时变量绑定给内函数 4.闭包中内函数修改外函数局部变量 5.注意: 6.练习: 1.闭包的概念 请大家跟我理解一下,如果在一个函数的内部定 ...

  9. Redis 源码简洁剖析 04 - Sorted Set 有序集合

    Sorted Set 是什么 Sorted Set 命令及实现方法 Sorted Set 数据结构 跳表(skiplist) 跳表节点的结构定义 跳表的定义 跳表节点查询 层数设置 跳表插入节点 zs ...

  10. 微服务架构 | 5.4 Sentinel 流控、统计和熔断的源码分析

    目录 前言 1. Sentinel 的自动装配 1.2 依赖引入 1.3 SentinelWebAutoConfiguration 配置类 1.4 CommonFilter 过滤器 1.5 小结 2. ...