基于Jackson Avro Serde的Java服务Kafka传输特殊字符乱码问题

根因分析 #

单元测试和线上运行环境的JVM默认字符集不一致是核心原因：

• 本地单元测试运行时默认字符集一般为UTF-8，完全兼容ü、ß、ö等拉丁特殊字符
• 线上服务未显式指定JVM字符集，继承了操作系统默认编码（多数低配Linux镜像默认为ISO-8859-1，Windows环境默认为GBK），编码不兼容的特殊字符会被替换为问号

可行修复方案 #

方案1：显式指定AvroMapper的字符编码（最推荐，无侧影响） #

直接在构建AvroMapper时强制指定UTF-8编码，不依赖JVM默认配置，仅需修改一行代码：

AvroMapper mapper = AvroMapper.builder().addModule(new JavaTimeModule())
        .enable(StreamWriteFeature.IGNORE_UNKNOWN)
        .visibility(PropertyAccessor.FIELD, JsonAutoDetect.Visibility.PUBLIC_ONLY)
        .visibility(PropertyAccessor.GETTER, JsonAutoDetect.Visibility.NONE)
        // 新增行，强制指定UTF-8编码，Java 8以下版本可替换为.charset("UTF-8")
        .charset(StandardCharsets.UTF_8)
        .build();

方案2：统一JVM启动参数编码 #

如果不想修改业务代码，可以给生产、消费两侧的服务JVM启动参数增加以下配置，强制全局编码为UTF-8：

-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8

注意：该配置为JVM全局生效，修改前需要确认服务内其他依赖默认编码的逻辑不受影响。

可选排查项 #

如果以上方案未解决问题，可以顺便检查自动生成的Avro Schema定义：确认存储特殊字符的字段类型为string而非bytes，bytes类型不会自动做UTF-8编码转换，也可能导致乱码。

验证方法 #

本地启动服务时添加JVM参数-Dfile.encoding=ISO-8859-1即可复现线上乱码问题，应用修复方案后再运行即可验证有效性。

内容的提问来源于stack exchange，提问作者Dan