kettle从入门到精通 第四十四课 kettle 去重

1、我们平常在写应用程序的时候，会有去重的业务场景，可以在数据库层面解决，也可以在内存层面解决。

同样kettle也有去重的步骤【唯一行（哈希值）】和【去除重复记录】

唯一行（哈希值）：使用 HashSet 来删除重复行，只保留唯一的行。

去除重复记录（Unique Rows）：删除重复行，只保留唯一的行。这只适用于已排序的输入。如果输入没有排序，则只能正确处理连续的重复行。

2、下面示例比较简单，使用步骤【自定义常量数据】生成3条数据，然后通过步骤【唯一行（哈希值）】进行去重。

3、根据name字段进行去重，hashset的去重逻辑是不存在重复数据插入hashset，存在则不插入，所以name为Java小金刚的数据保留了第一条，如下图所示。

4、使用步骤【自定义常量数据】生成4条数据，然后通过步骤【去除重复记录】进行去重。没有排序的情况下，不相邻的重复数据没有进行去重，如下图所示。

5、使用步骤【自定义常量数据】生成4条数据，然后通过步骤【排序】根据name进行排序，最后通过步骤【去除重复记录】进行去重。排序的情况下，不相邻的重复数据仅保留一条，如下图所示。