Kafka S3 Sink Connector开启keys及headers存储后无法写入S3问题咨询

• 首先检查参数类型配置是否合规：store.kafka.keys、store.kafka.headers为布尔类型参数，部分版本的Kafka Connect不识别字符串格式的"true"，需要调整为不带引号的布尔值true
• 确认存储文件的检索范围：默认配置下keys、headers不会和value写入同一个文件，连接器会生成独立的带后缀文件，默认后缀为.keys.json和.headers.json，可到S3对应存储前缀下查找该类后缀的文件
• 检查上游Kafka消息属性：如果写入Kafka的消息本身key为null、headers为空，即使开启了存储开关也不会生成对应的keys、headers文件
• 验证连接器版本兼容性：5.0以下版本的Confluent S3 Sink连接器不支持独立存储keys和headers的功能，需要升级连接器到5.0及以上版本
• 排查格式化逻辑冲突：如果你配置了自定义的value.converter或者格式化类，需要确认对应逻辑没有主动过滤keys和headers的写入
• 如果需要将key、headers和value合并写入同一个文件而非生成独立文件，需要额外补充如下配置：

"store.kafka.keys.in.value": true,
"store.kafka.headers.in.value": true

内容的提问来源于stack exchange，提问作者Atmaram Hebbar