使用Confluent MongoDB源连接器写入Kafka主题出现乱码/控制字符问题

你观察到的前缀乱码并非连接器生成的无效内容，而是Confluent Avro序列化规范的标准头部，由1字节固定魔术位（0x00）和4字节Schema ID组成，属于Avro格式的必要组成部分。
出现该现象的核心原因是配置逻辑冲突：你配置连接器输出JSON格式的字符串，同时使用AvroConverter对该字符串做序列化，AvroConverter会将JSON字符串按照Avro String类型进行编码，因此会在有效JSON内容前加上Avro标准头部，直接将序列化后的二进制数据转为字符串查看时，头部字节就会显示为\u0000开头的控制字符。

以下方案均满足你提出的「必须使用AvroConverter、源端Schema不固定需适配JSON输出」的硬性要求：

方案1：保留现有配置，调整数据读取方式 #

该方案无需修改任何连接器配置，完全符合你的业务规则：

• Kafka主题存储的内容本身就是标准Avro格式，满足格式要求
• 连接器输出的有效内容就是你配置的JSON格式，适配源端不固定Schema的场景
  你看到的乱码只是直接读取二进制内容的假象，使用任意Confluent生态兼容的Avro反序列化工具读取数据时，会自动识别并跳过Avro头部，直接返回完整的JSON字符串。
  示例验证命令：

kafka-avro-console-consumer --bootstrap-server <Kafka集群地址> --topic <目标主题名> --property schema.registry.url=<Schema Registry地址> --from-beginning

方案2：调整输出格式为Avro，适配动态Schema场景 #

如果你需要主题内存储的是结构化Avro数据而非JSON字符串，可以修改连接器配置，利用MongoDB源连接器的动态Schema生成能力适配源端不固定Schema的场景，无需手动维护Schema。
需要调整的配置项如下：

{
  "output.format.key": "avro",
  "output.format.value": "avro",
  "key.converter.schemas.enable": "true",
  "value.converter.schemas.enable": "true"
}

其他原有配置保持不变即可。连接器会自动根据MongoDB文档结构生成对应Avro Schema，增量注册到Schema Registry，不需要提前定义源端Schema。
注意：该方案下如果源端字段变更频繁，会导致Schema Registry中对应主题的Schema版本数量较多，可根据业务实际情况评估是否适用。

内容的提问来源于stack exchange，提问作者Keds