带状态存储的Kafka Streams前向兼容性问题咨询

1. 能否将主题兼容性设置为Forward？ #

完全可以设置为Forward兼容性。Forward兼容性的核心规则是：新生成的Schema可以被旧版本的消费者正常读取，但旧Schema生成的数据不一定能被新版本消费者读取。

在你的场景中，如果Kafka Streams应用会随着Schema的升级同步更新（即新版本Streams应用能处理新Schema），Forward兼容性是完全适用的：旧版本Streams应用读取新消息时，会自动忽略新增字段，不影响原有逻辑；新版本Streams应用读取旧消息时，只要处理好字段缺失的情况（比如下文提到的默认值），也能正常工作。

2. 新增必填字段时，能否为旧数据定义默认值？ #

可以通过在Schema中为新增必填字段指定默认值来解决旧数据缺失字段的问题，具体细节如下：

• Avro（Schema Registry最常用的序列化格式）中，字段默认是必填状态。如果新增必填字段时不指定默认值，新版本消费者读取状态存储中的旧数据（无该字段）时会直接抛出字段缺失的错误。
• 如果在新增字段时为其定义默认值，当新版本消费者读取旧数据时，序列化框架会自动用默认值填充缺失的字段，无需额外编写业务代码处理。
• 需要注意：新增带默认值的必填字段是符合Forward兼容性要求的——旧版本消费者读取新消息时会忽略新增字段，不影响原有逻辑；新版本消费者读取旧消息时通过默认值正常处理。

内容的提问来源于stack exchange，提问作者fafl