Spark读取JSON字段类型推断不一致致Parquet追加失败求解决方案

针对你遇到的JSON字段类型推断波动（支付金额字段时而Long时而Double）、追加Parquet表报错的问题，给你几个可行的解决思路：

1. 显式指定Schema（最推荐） #

彻底放弃自动类型推断，提前定义好匹配目标Parquet表的Schema，确保每次读取JSON时都用固定类型解析。金额类字段优先用DecimalType（避免浮点数精度问题），也可根据需求选择DoubleType。

示例代码（Scala）：

import org.apache.spark.sql.types._

// 定义与目标Parquet表一致的Schema
val targetSchema = StructType(Seq(
  StructField("payment_amount", DecimalType(18, 2), nullable = true),
  StructField("order_id", StringType, nullable = false),
  // 按实际表结构补充其他字段
))

// 读取JSON时指定Schema
val incrementDF = spark.read.schema(targetSchema).json("/path/to/daily/json")

无论JSON里的金额是0还是0.8，都会被统一解析为Decimal类型，从根源上避免推断不一致的问题，后续直接追加到Parquet表即可。

2. 读取后强制统一字段类型 #

如果暂时无法提前定义完整Schema，可以在读取JSON后，将目标字段强制转换为与Parquet表一致的类型。注意金额字段优先用DecimalType，比DoubleType更适合财务数据场景。

示例代码（Scala）：

import org.apache.spark.sql.functions._

val rawDF = spark.read.json("/path/to/daily/json")

// 将payment_amount统一转为DecimalType(18,2)，兼容Long/Double类型输入
val processedDF = rawDF.withColumn(
  "payment_amount",
  col("payment_amount").cast(DecimalType(18, 2))
)

// 追加到现有Parquet表
processedDF.write.mode("append").parquet("/path/to/target/parquet")

如果之前转DoubleType报错，大概率是因为目标表实际为DecimalType，或转换时未处理null值。用cast(DecimalType)能覆盖Long/Double到Decimal的转换，0会被转为0.00，不会触发类型冲突。

3. 调整Spark JSON推断规则 #

通过配置参数让Spark在推断类型时优先选择Decimal，减少Long/Double的切换：

val df = spark.read
  .option("preferDecimal", "true") // 优先推断为DecimalType
  .option("inferSchema", "true")
  .json("/path/to/daily/json")

这个方案适合字段结构偶尔变化的场景，但不如显式Schema可靠——如果某批次JSON里金额全是整数，Spark仍可能推断为Long，建议结合后续的强制转换使用。

额外提醒 #

金额类字段尽量避免使用DoubleType，因为浮点数存在精度丢失问题（比如0.1 + 0.2无法精确表示为二进制浮点数），用DecimalType能保证财务数据的准确性。

内容的提问来源于stack exchange，提问作者PedroCSeq