Avro Schema中Optional与Nullable字段的区别及空字段抑制问询

一、Optional与Nullable字段的区别 #

Avro里并没有严格区分"Optional"和"Nullable"，但实际使用中两者的场景略有不同：

• Nullable字段：通过联合类型["null", 目标类型]定义，明确允许字段值为null，是最直接的可空字段定义方式，比如你当前的firstName字段就是典型的Nullable字段。
• Optional字段：通常有两种情况：
  1. 就是上面的Nullable字段（允许null相当于可选，可不传有效值）；
  2. 字段类型不包含null，但设置了default值，这种字段序列化时无需强制传值，会自动填充default，也算"可选"。比如{"name": "age", "type": "int", "default": 0}，这个字段不能传null，但可以不用主动赋值。

二、关于抑制空字段（值为null时移除字段）的问题 #

Avro规范本身没有提供Schema层面的配置来实现"值为null时移除字段"，但可以通过序列化工具的参数配置来实现，具体取决于你使用的语言和序列化库：

• 如果用Java的Avro库：在JSON序列化时，可以设置JsonEncoder.setIgnoreNulls(true)，这样值为null的字段就不会出现在JSON输出中；二进制序列化则无需处理，因为二进制格式中null值的存储开销极小，几乎不影响性能。
• 如果用Python的fastavro库：在调用fastavro.writer时，设置ignore_none=True参数，就能忽略值为None的字段。
• 其他语言的Avro库大多也有类似的配置项，核心是在序列化阶段控制是否输出null值字段。

你的当前Schema定义{"name": "firstName","type": ["null","string"],"default": null}是标准的可空可选字段定义，本身没有问题，要实现移除null字段的需求，不需要修改Schema，只需要调整序列化工具的参数即可。

内容的提问来源于stack exchange，提问作者Prosenjit