Apache Avro & Avro Schema简介

为什么需要schema registry？

首先我们知道:

• Kafka将字节作为输入并发布
• 没有数据验证

但是：

• 如果Producer发送了bad data怎么办？
• 如果字段被重命名怎么办?
• 如果数据类型改变了怎么办？

这些情况都会导致consumer break

所以：

• 我们需要数据能够自我描述
• 我们需要能够在不破坏下游消费者的情况下演化数据
• 能够拒绝坏数据

为什么不在kafka broker收到消息时验证消息，而是使用schema registry？

由下面两幅图可以看到，schema registry是独立于kafka的一个组件。

Kafka Core：

Confluent Components -Schema Registry：

为什么schema registry不集成在kafka broker，因为这样会打破kafka一些优秀的特性:

• Kafka不解析或读取你的数据(没有使用CPU)
• Kafka将字节作为输入，而不需要事件将它们加载到内存中(称为零拷贝) 。什么是零拷贝，移步至https://www.cnblogs.com/fangjb/p/13271886.html
• 就Kafka而言，它甚至不知道你的数据是否是整数或是字符串。

所以：

• Schema Registry需要是独立的组件
• 生产者和消费者需要能够与之对话
• 必须商定通用的数据格式
• 它需要支持schema
• 它需要支持进化
• 它需要是轻量级的

Solution:

Confluent Schema Registry

Apache Avro as the data format

Apache Avro& Avro Schema介绍

• Apache Avro是一个数据序列化系统。
• 可以将Avro看作是JSON附带一个schema
• Avro schema使用Json来定义
• Avro依赖于schema

Avro优点：

1.丰富的数据结构

2.使用快速的压缩二进制数据格式

3.schema随数据一起出现

4.schema可以以安全的方式随时间进化(schema evolution)

5. Document嵌入到schema中

Avro缺点：

1.某些语言对Avro的支持可能缺乏

2.不使用avro工具就不能“打印”数据(因为压缩了和序列化)

数据类型

Schema 定义了基本数据类型和复杂数据类型，其中复杂数据类型包含不同属性。通过各种数据类型用户可以自定义丰富的数据结构

基本类型：

类型	含义
null	没有值
boolean	布尔值
int	32位有符号整数
long	64位有符号整数
float	单精度（32位）的IEEE 754浮点数
double	双精度（64位）的IEEE 754浮点数
bytes	8位无符号字节序列
string	字符串

 

复杂类型

Avro提供了6种复杂类型。分别是Record，Enum，Array，Map，Union和Fixed。

Record类型：

Record类型使用的类型名字是 “record”，还支持其它属性的设置：

• name(必填)：record类型的名字
• namespace：命名空间(可选)，相当于java中的包名
• doc：这个类型的文档说明(可选)
• aliases：record类型的别名，是个字符串数组(可选)
• fields(必填)：record类型中的字段，是个对象数组。每个字段需要以下属性：
• name(必填)：字段名字
• doc：字段说明文档(可选)
• type(必填)：一个schema的json对象或者一个类型名字
• default：默认值(可选)
• order：排序(可选)，只有3个值ascending(默认)，descending或ignore
• aliases：别名，字符串数组(可选)

一个record例子：

{
        "type": "record",
        "namespace": "com.aaa",
        "name": "Employee",
        "fields": [
          { "name": "id", "type": "string"},
          { "name": "first_name", "type": "string", "default": ""},
          { "name": "last_name", "type": "string", "default":""}
        ]
   }

Enum

枚举类型的类型名字是”enum”，还支持其它属性的设置：

• name：枚举类型的名字(必填)
• namespace：命名空间(可选)
• aliases：字符串数组，别名(可选)
• doc：说明文档(可选)
• symbols：字符串数组，所有的枚举值(必填)，不允许重复数据。

一个枚举例子：

{
  "type": "enum",
  "name": "customer_status",
  "symbols": [
    "BRONZE",
    "SILVER",
    "GOLD"
  ]
}

Array

数组类型的类型名字是”array”并且只支持一个属性：

items：数组元素的schema

一个数组例子：

{
    "name": "email",
    "type": "array",
    "items": "string"
}

Map

Map是一种定义keys和values列表的方法，其中keys是字符串.

Example: secrets questions

• “What’s your
  favourite color?”: “green”
• “Where were
  you born?”: “Tapei”
• “Who you love most?”: “My wife”

Map类型的类型名字是”map”并且只支持一个属性：

values：map值的schema

Map的key必须是字符串。

一个Map例子：

{
    "name": "secrets",
    "type": "map",
    "values": "long"
}

Union

组合类型，表示各种类型的组合，使用数组进行组合。比如[“null”,
“string”]表示类型可以为null或者string。

组合类型的默认值是组合类型的第一个元素，因此如果一个组合类型包括null类型，那么null类型一般都会放在第一个位置，这样子的话这个组合类型的默认值就是null。

组合类型中不允许同一种类型的元素的个数不会超过1个，除了record，fixed和enum。比如组合类中有2个array类型或者2个map类型，这是不允许的。

组合类型不允许嵌套组合类型