如何修改Spark SQL表所有列编码为UTF-8以解决字符乱码问题

你遇到的乱码本质是源数据编码与Spark读取时默认使用的编码不匹配导致的，通常是源数据为ISO-8859-1编码，Spark按UTF-8读取时产生了解析错误。以下是无需逐个手动指定列的批量处理方案：

方案1：动态生成SQL批量转换所有字符串列 #

仅字符串类型列需要做编码转换，非字符串列（数值、日期等）无需处理，通过读取表元数据自动生成转换后的查询语句即可：

PySpark实现示例 #

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("fix_encoding").getOrCreate()

# 替换为你的表名
source_table = "your_table_name"
df = spark.table(source_table)

select_expr = []
for col_name in df.columns:
    # 仅对字符串类型列做编码转换
    if dict(df.dtypes)[col_name] == "string":
        select_expr.append(f"decode(encode(`{col_name}`, 'ISO-8859-1'), 'UTF-8') AS `{col_name}`")
    else:
        select_expr.append(f"`{col_name}`")

# 生成最终查询SQL
fix_sql = f"SELECT {','.join(select_expr)} FROM {source_table}"
fixed_df = spark.sql(fix_sql)

# 验证转换结果
fixed_df.show()

纯Spark SQL实现 #

如果只能用SQL操作，可以先查询元数据表拿到所有需要转换的字符串列：

-- 替换为你的库名、表名
SELECT CONCAT('decode(encode(`', column_name, '`, ''ISO-8859-1''), ''UTF-8'') AS `', column_name, '`')
FROM information_schema.columns
WHERE table_schema = 'your_database_name'
  AND table_name = 'your_table_name'
  AND data_type = 'string';

把上述查询返回的结果，替换你原查询SELECT *中的*即可。

方案2：读取数据时直接指定源编码 #

如果是从文件（csv、text等）读取数据，可直接在读阶段指定源编码，从根源避免乱码：

# 示例：读取csv时指定源编码为ISO-8859-1
df = spark.read.option("encoding", "ISO-8859-1").csv("your_file_path")

注意事项 #

如果你的源数据编码不是ISO-8859-1，将上述代码中的编码替换为实际源编码（如GBK、GB2312等）即可。

内容的提问来源于stack exchange，提问作者Ignacio Arenas