Debezium Server同步MS SQL Server到Azure事件中心德语变音字符乱码问题

1 核实SQL Server端存储配置 #

• 先确认文本列的字段类型：如果是VARCHAR类型，仅修改列排序规则可能不生效，需执行以下SQL确认列的实际排序规则和数据库级排序规则一致：

SELECT name, collation_name 
FROM sys.columns 
WHERE object_id = OBJECT_ID('你的业务表名') AND name = '异常文本列名';

• 如果是NVARCHAR/NCHAR类型，SQL Server默认以UTF-16LE存储字符，不需要额外调整列编码，排查重点放在连接器的转码配置上即可。
• 不要使用Latin1排序规则存储德语变音字符，虽然Latin1支持部分西欧字符，但跨系统转码时极易出现映射错误，SQL Server 2019及以上版本统一使用带UTF8后缀的排序规则即可。

2 调整Debezium SQL Server连接器配置 #

在debezium-server的application.properties配置文件中添加以下参数，强制连接器使用UTF-8处理字符串：

# 强制数据库连接使用UTF-8编码
debezium.source.database.character.set = UTF-8
# 关闭字符串到二进制的自动转换，避免编码信息丢失
debezium.source.binary.handling.mode = string
# 针对SQL Server NVARCHAR类型强制解码为UTF-8
debezium.source.sqlserver.nvarchar.encoding = UTF-8

如果使用Debezium 1.9以下版本，将最后一项参数替换为debezium.source.database.encoding = UTF-8。

3 确认Debezium序列化配置 #

• 如果使用JSON格式输出到Event Hubs，补充以下配置确保输出编码为UTF-8：

debezium.format.value = json
debezium.format.value.encoding = UTF-8

• 如果使用Avro序列化，需要确认Schema Registry中对应字符串字段的逻辑类型为UTF8，而非普通字节类型。

4 排查Azure Event Hubs消费侧逻辑 #

Event Hubs存储的消息体默认是字节流，80%以上的乱码问题出现在消费侧的解码步骤：

• 确认消费消息时，使用UTF-8编码解析字节数组，而非操作系统默认编码（Windows端默认CP1252、部分Linux镜像默认ASCII都会导致德语变音字符解析错误）
• 可在Debezium侧添加临时日志打印解析后的字符串内容，先确认Debezium输出字符正常，再定位下游问题。

内容的提问来源于stack exchange，提问作者claus