使用PySpark从DB2提取UTF-8数据时出现乱码问题求助

• 方案1：修正Spark JVM参数配置
  你之前设置的JVM参数存在两个错误导致不生效：
  1. 配置键错误，多了冗余的spark.sql.前缀，正确的配置键为spark.executor.extraJavaOptions和spark.driver.extraJavaOptions
  2. JVM参数缺少前置-，正确的参数值为-Ddb2.jcc.charsetDecoderEncoder=3
     注意：这两个参数必须在SparkSession实例化之前配置，运行过程中修改不会生效，正确配置示例如下：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("DB2ReadFix") \
    .config("spark.executor.extraJavaOptions", "-Ddb2.jcc.charsetDecoderEncoder=3") \
    .config("spark.driver.extraJavaOptions", "-Ddb2.jcc.charsetDecoderEncoder=3") \
    .getOrCreate()

• 方案2：JDBC连接URL追加编码参数
  JDBC URL中指定的参数优先级高于单独的option配置，修改url值如下：

jdbc:db2://hostname:port/dbName:useUnicode=true;characterEncoding=UTF-8;db2.jcc.charsetDecoderEncoder=3;

对应读取代码调整：

remote_table = spark.read.format("jdbc")\
  .option("driver", "com.ibm.db2.jcc.DB2Driver")\
  .option("url", "jdbc:db2://hostname:port/dbName:useUnicode=true;characterEncoding=UTF-8;db2.jcc.charsetDecoderEncoder=3;")\
  .option("query", "select name from db.table where id = '123'")\
  .option("user", user_name)\
  .option("password", password)\
  .load()

可以删除原代码中单独设置的encoding、characterEncoding option，避免参数冲突。

• 方案3：手动转码兜底修复
  如果上述配置均不生效，说明读取时使用了错误编码解析字符串，可以手动转码修复：

import pyspark.sql.functions as F

# 先按错误解析用的ISO-8859-1编码转回字节流，再用UTF-8解码
fixed_table = remote_table.withColumn("name", F.decode(F.encode(F.col("name"), "ISO-8859-1"), "UTF-8"))
# 若未生效可尝试将ISO-8859-1替换为GBK测试

如果手动转码生效，说明DB2端表/字段的实际编码和读取配置的编码不匹配，可核查DB2侧编码配置后调整读取参数。

内容的提问来源于stack exchange，提问作者Vasu