ETL工具-nifi干货系列 第六讲 处理器JoltTransformJSON

1、处理器作用

使用Jolt转换JSON数据为其他结构的JSON,成功的路由到'success',失败的'failure'。处理JSON的实用程序不是基于流的，因此大型JSON文档转换可能会消耗大量内存。

Jolt：JSON 到 JSON 转换库，用 Java 编写，其中转换的 "规范" 或者描述文件本身就是一个 JSON 文档。

2、属性配置

（Jolt Transformation DSL）指定应该使用哪种Jolt转换模式，目前有如下10种转换模式：

Cardinality：更改了输入JSON数据元素的基数，如json中的string 类型的字段变更为list
Chain：按顺序应用多个转换规则。
Default：如果输入中不存在指定的字段，则添加默认值。
Modify -Default：修改字段的值，如果字段不存在则添加默认值。
Modify - Define:修改字段的值，如果字段不存在则创建该字段并赋值。
Modify - Overwrite:修改字段的值，如果字段不存在则忽略。
Remove:移除指定的字段。
Shift:将字段的值移动到另一个字段下。
Sort:对对象中的字段进行排序。
Custom:自定义转换规则。

（Jolt Specification）JSON数据转换Spec。如果选择了Sort转换，则忽略此值。
支持表达式语言:true(将使用流文件属性和变量注册表进行计算)

（Transform Cache Size）转换缓存大小：
编译 Jolt 转换可能会相当昂贵。理想情况下，这只会执行一次。然而，如果在转换中使用表达式语言，我们可能需要为每个 FlowFile 使用新的转换。该值控制我们在内存中缓存多少个这些转换，以避免每次都需要编译转换。

（Pretty Print）json是否美化输出

（Max String Length）最大字符串长度

3、示例演示

处理器GenerateFlowFile 产生json字符串{"id":"1","name":"Java小金刚"}

Jolt Transformation DSL 设置为chain

Jolt Specification 设置为[{"operation":"shift","spec":{"id":"person.id","name":"person.name"}}]

输出结果如下：