使用iceberg-使用Iceberg数据湖需要注意的点

一、资料准备

1、mysql地址选择

因为阿里云只读节点binlog保留时间短，需要用读写集群地址。可以登录阿里云控制台查看地址是只读还是读写，不清楚的话可以找dba要读写地址。

二、Iceberg概念

1、Iceberg选择合适的表版本

简述：Iceberg目前有两个表版本（V1和V2），根据数据选择合适的表版本。

V1表只支持增量数据插入，适合做纯增量写入场景，如埋点数据。

V2表才支持行级更新，适合做状态变化的更新，如订单表同步。

使用方式：建表语句时指定版本'format-version'='2'，不指定参数默认使用V1

2、建表类型转换问题

简述：mysql表create_time大多为timestamp类型，同步到iceberg后使用spark查询会报timezone错误。

原因：源表没有timezone, 下游表需要设置local timezone

使用方式：建iceberg表时指定字段类型为TIMESTAMP_LTZ类型

3、任务全量同步和增量同步配置

简述：全量同步阶段需要速度快，可以把flink checkpoint设置为1分钟，并发可以调高（比如1CU*10）这样可以快速同步数据。同时要考虑你的数据源能支持多快抽取，评估好抽取并发，否则dba会找你。

增量阶段一般数据量比较低了，全量同步完后可以调小资源和并发（比如0.5CU*1）然后重新发布可以节省资源。mysql增量阶段只能单线程跑，设置并发多也没用

三、任务开发

1、建表

可以联系平台在spark客户端建表

(1)Iceberg v2更新表sql（只有v2表才支持更新数据，v1表只能追加数据）
CREATE TABLE data_lake_ods.test3(
    id bigint COMMENT 'unique id',
    `empcode` STRING
)USING iceberg
TBLPROPERTIES(
  'format-version'='2'
  ,'write.upsert.enabled'='true'
  ,'engine.hive.enabled'='true'
  ,'table.drop.base-path.enabled'='true'
);

(2)Iceberg v1非更新表sql（不支持数据更新，适合只有insert场景，如埋点数据）
CREATE TABLE data_lake_ods.test3 (
    `id` int ,
    `empcode` STRING
) USING iceberg;

(3)修改表format版本或其他属性
alter table data_lake_ods.test3 SET TBLPROPERTIES('format-version'='2');

2、删表-腾讯定制（spark客户端方式删表）

简述：和hive删表不一样，iceberg默认只删除元数据不清理hdfs表目录，删表语句后面需要加purge关键字可删除。腾讯特殊改造过包

功能描述：默认drop table 不会清理hdfs数据，使用官方 DROP TABLE spark_catalog.db.sample PURGE时会清理数据，但是还留存【表/data】、【表/metadata】文件。

修改包：iceberg-spark-runtime-3.2_2.12-1.3.1.jar

社区提交代码：https://github.com/apache/iceberg/pull/1839/files

官方ddl文档：https://iceberg.apache.org/docs/1.3.1/spark-ddl/

使用方式：

！！！使用优化后的icebrg包

在建表时需要开启'table.drop.base-path.enabled'='true'

删表时：DROP TABLE data_lake_ods.test3 PURGE;

3、新增字段

ALTER TABLE data_lake_ods.table_name ADD COLUMN `event_timestamp` timestamp COMMENT 'kafka更新时间戳';

4、插入和更新数据

insert into table data_lake_ods.test3 values (1,"code1");
update data_lake_ods.test3 set empcode='code2' where id=1;

5、数据集成建数据源

6、配置同步任务

1）数据源高级参数

--优化抽数速度，如非均匀分布表，设置此参数可以加快分片速度

scan.incremental.snapshot.chunk.size=50000

--最后一个分片切割，适用于同步时间长的大表，在同步后新增数据很多场景
scan.lastchunk.optimize.enable=true

2）任务高级参数

--由于分布式系统中的 shuffle 会造成 ChalgeLog 数据的乱序，所以 sink 接收到的数据可能在全局的 upsert 中乱序，所以要在 upsert sink 之前添加一个 upsert 物化算子。该参数控制是否添加

table.exec.sink.upsert-materialize=NONE

7、整库同步--同步前设置高级参数，整库同步支持新表自动同步

mysql新增加表后iceberg会自动新加表，mysql删表后iceberg会暂停这个表的同步，任务不会中止，iceberg表不会删除

scan.newly-added-table.enabled=true

8、查询数据

presto引擎： select * from data_lake_ods.test1 limit 200

kyuubi引擎： select * from data_lake_ods.test1 limit 200

9、iceberg表治理

原因：实时程序每个checkpoint写入都会生成多个文件，小文件太多会影响下游查询速度，逐渐变慢直到不可用。所以需要每天定时治理任务小文件

http://127.0.0.1:9090/luoshu/

全量数据同步完成后，修改checkpoint为5分钟以上，在洛书平台设置治理任务。

四、任务运维注意事项

因每次插入数据都会生成一个快照和很多小文件，为预防快照和小文件过多影响查询速度，需要定时清理。请全量同步完成时，配置治理任务开始治理

治理平台：http://127.0.0.1:9090/luoshu/

1、小文件合并

简述：全量同步后因为每分钟一次checkpoint会生成大量的小文件，全量同步结束后需要做一下小文件合并，提高查询速度。

参考信息：Iceberg小文件合并测试

2、过期快照清理

全量同步后因为每分钟一次checkpoint会产生大量快照，全量同步结束后需要做一下快照清理，提高查询速度。

参考信息：Iceberg过期快照清理

五、附录

1、建表优化

建表时设置metadata.json保留版本个数

功能描述：每次插入数据都会生成一个metadata文件，插入次数太多会影响查询，所以设置保留版本个数

详细介绍和测试文档：Iceberg元数据合并-metadata.json文件

CREATE TABLE data_lake_ods.test3 (
`id` int ,
`empcode` STRING
) USING iceberg
TBLPROPERTIES(
'format-version'='2'
,'write.metadata.delete-after-commit.enabled'='true'
,'write.metadata.previous-versions-max'='3'
);
--插入和更新数据
insert into table iceberg_test.test3 values (1,"code1");
update iceberg_test.test3 set empcode='code2' where id=1;