kettle从入门到精通 第五十二课 ETL之kettle Avro output

1、上一节课我们学习了avro input，本节课我们一起学习下avro out步骤。

本节课通过json input 加载json文件，通过avro out 生成avro二进制文件，写日志步骤打印日志。将json input、avro output、写日志三个步骤拖到画布，然后连线，如下图所示：

json input 步骤不在过多讲解，不了解的可以学习kettle从入门到精通 第八课 kettle JSON输入

2、Avro output步骤将PDI数据流中的数据序列化为Avro二进制或JSON格式，然后写入文件。

这个输出步骤创建了以下文件：

1). 包含Avro格式输出数据的文件
2). 由此步骤中字段定义的Avro模式文件

Step name：自定义步骤名称

Forder/File name:指定文件或文件夹的位置和名称。您还可以单击浏览按钮导航到目标avro文件或avro文件所在文件夹。

Overwrite existing output file:选择覆盖具有相同文件名和扩展名的现有文件。

Fields：

Avro path：字段的名称将在Avro数据和模式文件中显示。

Name：PDI字段的名称。

Avro type：定义字段的Avro数据类型。可以通过下拉方式进行选择。

Precision：仅适用于Decimal Avro类型，数字中的总位数。默认值为10。

Scale：仅适用于Decimal Avro类型，小数点后的位数。默认值为0。

Default value：字段的默认值，如果为空或为null。

Null：指定字段是否可以包含空值。可以选择Yes和No。

如下时PDI type和Avro type的映射对应关系：

PDI Type	Avro Type
InetAddress	String
String	String
TimeStamp	TimeStamp
Binary	Bytes
BigNumber	Decimal
Boolean	Boolean
Date	Date
Integer	Long
Number	Double

注：为了避免转换失败，请确保默认值字段包含所有字段的值，其中空值设置为否。

3、Schema选项卡，如下图所示：

File name：指定完整的URL，用于写入Avro模式文件。URL的格式可能根据文件系统类型不同而有所不同。您也可以点击“浏览”以导航到您文件系统上的模式文件。如果模式文件已存在，则会被覆盖。如果您没有为输出指定单独的模式文件，PDI将在Avro数据文件中写入嵌入式模式。

Namespace：命名空间，定义模式的“完整名称”（例如，对于示例，为 example.avro）.

Record name：指定Avro记录的名称（例如，myAvro）。

Doc value：指定为模式提供的文档，也就是备注。

4、Options 选项卡，如下图所示：

Compression：指定用于在Avro输出文件中压缩数据块的以下编解码器之一：

• None：不使用压缩（默认）。
• Deflate：数据块使用RFC 1951中指定的deflate算法编写，通常使用zlib库实现。
• Snappy：数据块使用Google的Snappy压缩库编写，并在每个块中跟随未压缩数据的4字节大端CRC32校验和。

Include date in filename：将系统生成文件的系统日期添加到默认格式yyyyMMdd（例如20240405）的输出文件名中。

Include time in filename：将系统生成文件的系统时间添加到默认格式HHmmss（例如235959）的输出文件名中。

Specify date time format："从下拉列表中可用的选项中选择一个不同的日期时间格式，添加到输出文件名中。"

5、生成文件

avro schema 文件

avro 二进制文件