Spark SQL导入含换行符JSON至Hive后，Unicode印地语字符显示问题

我之前也碰到过类似的场景——用Spark处理带换行符的JSON并通过saveAsTable导入Hive后，Unicode转义的印地语字符无法正常显示。结合我的实践经验，给你分步骤梳理解决方案：

1. 确保Spark读取JSON时正确解析Unicode转义 #

Spark默认应该能解析JSON中的\u****格式Unicode字符，但如果你的JSON包含列内换行，必须开启multiLine选项，同时明确指定UTF-8编码来保证字符识别：

val rawDF = spark.read
  .option("multiLine", "true")  // 处理列值包含换行的JSON文件
  .option("encoding", "UTF-8")  // 强制使用UTF-8编码读取
  .json("/path/to/your/json/file")

如果读取后还是显示转义字符，大概率是你的JSON里存在双重转义（比如存储的是\\u092F而非\u092F），这时候需要手动解码：

import org.apache.spark.sql.functions._

// 针对特定列处理双重转义的Unicode
val processedDF = rawDF.withColumn(
  "hindi_content",
  decode(unhex(regexp_replace(col("hindi_content"), "\\\\u", "")), "UTF-16BE")
)

2. 写入Hive表时配置正确的字符集 #

使用saveAsTable时，需要确保写入的表存储格式支持UTF-8，同时显式指定编码选项。推荐用Parquet作为存储格式（默认支持UTF-8），如果用Text格式则必须额外配置：

方案一：写入Parquet格式表（推荐） #

processedDF.write
  .mode("overwrite")
  .option("encoding", "UTF-8")
  .saveAsTable("your_db.target_table")

方案二：如果是Text格式表 #

写入后需要通过Hive SQL修改表的序列化编码：

ALTER TABLE your_db.target_table 
SET TBLPROPERTIES ('serialization.encoding'='UTF-8');

3. 验证Hive端的字符集配置 #

有时候问题不在Spark写入，而是Hive客户端或HDFS的字符集设置：

• 检查Hive客户端终端的字符集：确保终端环境变量LANG设置为en_US.UTF-8或支持印地语的UTF-8编码
• 检查Hive全局配置：确保hive.metastore.warehouse.dir对应的HDFS目录存储编码为UTF-8（HDFS默认支持）

4. 验证结果 #

最后可以通过Spark SQL或Hive SQL查询表，确认印地语字符是否正常显示：

SELECT hindi_content FROM your_db.target_table LIMIT 5;

内容的提问来源于stack exchange，提问作者Neha