Spark读取Oracle数据库时Emoji乱码的替代解决方案咨询

1. 调整JDBC连接URL参数 #

Oracle JDBC驱动需显式配置以支持Unicode补充字符（如Emoji），在drivingUrl中添加以下参数即可解决乱码问题：

jdbc:oracle:thin:@//your-host:port/your-service?defaultNChar=true&useUnicode=true&characterEncoding=UTF-8

• defaultNChar=true：强制驱动按数据库的NLS_NCHAR_CHARACTERSET=AL16UTF16处理所有字符字段，适配Emoji这类Unicode补充平面字符
• useUnicode=true + characterEncoding=UTF-8：确保驱动与Spark间的字符编码转换为标准UTF-8

修改后的读取代码无需改动核心逻辑：

String drivingQuery = "(SELECT ID,MESSAGE FROM ALL_MESSAGES WHERE ID IN (100,101,102,103))TBL";
String driver = "oracle.jdbc.OracleDriver"; // 替换为新版驱动类

Dataset<Row> resultDf = spark
        .read()
        .format("jdbc")
        .option("url", "jdbc:oracle:thin:@//host:port/service?defaultNChar=true&useUnicode=true&characterEncoding=UTF-8")
        .option("dbtable", drivingQuery)
        .option("driver", driver)
        .load();

resultDf.show(200,false);

2. 全局配置JVM系统属性 #

若不想逐个修改JDBC URL，可在Spark启动时添加全局JVM参数，让Oracle驱动默认启用NCHAR字符集支持：

spark-submit --conf "spark.driver.extraJavaOptions=-Doracle.jdbc.defaultNChar=true" --conf "spark.executor.extraJavaOptions=-Doracle.jdbc.defaultNChar=true" [你的其他提交参数]

也可在Spark初始化前通过代码设置系统属性：

System.setProperty("oracle.jdbc.defaultNChar", "true");

3. 确认字段数据类型适配 #

检查MESSAGE字段类型：

• 若为VARCHAR2：Oracle原生UTF8字符集（非AL32UTF8）不支持Emoji这类补充字符，建议将字段改为NVARCHAR2，配合上述参数即可完美兼容
• 若已是NVARCHAR2：仅需配置URL或JVM参数即可生效

4. 替换旧版驱动类 #

你当前使用的oracle.jdbc.driver.OracleDriver是旧版驱动类，建议替换为oracle.jdbc.OracleDriver，新版驱动对Unicode字符的支持更完善，配合现有ojdbc8依赖无需额外调整。

内容的提问来源于stack exchange，提问作者Anshul