将CSV写入Hive表：小数点后零未正常加载问题求助

你遇到的问题是Spark写入Hive 1.2时，已指定DecimalType(5,2)但末尾零被截断的情况，以下是几个可行的解决办法：

• 显式定义Hive表结构的Decimal精度
  Spark的Schema定义有时不会完全同步到Hive表元数据，建议先通过Spark SQL或Hive CLI创建带有明确精度的表：

  CREATE TABLE IF NOT EXISTS target_table (
      name STRING,
      amount DECIMAL(5,2)
  ) STORED AS ORC; -- 根据你的存储需求选择格式，比如Parquet、TextFile
  

  之后再用df.write.mode("overwrite").insertInto("target_table")写入，确保Hive表的Decimal约束强制保留两位小数。

• 调整Spark的Decimal处理配置
  在初始化SparkSession时添加两个关键配置，避免精度丢失和格式转换问题：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("WriteDecimalToHive") \
      .config("spark.sql.decimalOperations.allowPrecisionLoss", "false") \
      .config("spark.sql.hive.convertMetastoreOrc", "true") \
      .enableHiveSupport() \
      .getOrCreate()
  

  allowPrecisionLoss设为false会严格保留Decimal的精度，convertMetastoreOrc确保ORC格式正确解析Decimal类型（如果用ORC存储的话）。

• 先转字符串格式化再写入
  如果前两种方法无效，可以先把Decimal字段格式化为固定两位小数的字符串，写入临时表后再转成Decimal类型：

  from pyspark.sql.functions import format_number
  
  # 把amount格式化为保留两位小数的字符串
  formatted_df = df.withColumn("formatted_amount", format_number("amount", 2))
  # 写入临时表，字段类型为STRING
  formatted_df.write.mode("overwrite").saveAsTable("temp_table")
  

  然后在Hive中执行转换：

  CREATE TABLE final_table AS
  SELECT name, CAST(formatted_amount AS DECIMAL(5,2)) AS amount
  FROM temp_table;
  

内容的提问来源于stack exchange，提问作者Karuna