Databricks中PySpark保存DataFrame至目录表时遇BigDecimal类型NaN错误求助

问题根源 #

PostgreSQL的DECIMAL/NUMERIC类型不支持存储NaN值，但Spark的DecimalType允许数据中存在NaN（可能是数据读取后计算产生，或源数据转换时引入），当尝试将包含NaN的Decimal列写入PostgreSQL时就会触发该错误。你转字符串未解决，大概率是因为转字符串后写入时又被强制转回DECIMAL类型，"NaN"字符串无法转换为合法的DECIMAL值。

具体解决步骤 #

• 替换NaN为合法值（推荐优先用NULL）
  针对问题列，将NaN替换为PostgreSQL DECIMAL列支持的NULL值，PySpark代码示例：

  from pyspark.sql.functions import isnan, when, col
  
  # 定位到问题列，比如名为target_col
  processed_df = df.withColumn(
      "target_col",
      when(isnan(col("target_col")), None).otherwise(col("target_col"))
  )
  

  如果业务允许用默认值（比如0），也可以替换为对应数值：

  processed_df = df.withColumn(
      "target_col",
      when(isnan(col("target_col")), 0.0).otherwise(col("target_col"))
  )
  

• 显式指定目标表列类型
  使用CREATE TABLE时，明确指定目标列的DECIMAL精度和刻度，避免类型映射歧义：

  CREATE TABLE your_target_table
  (
      id INT,
      target_col DECIMAL(18, 2) -- 根据业务需求调整精度和刻度
  )
  USING postgres
  OPTIONS (
      url 'jdbc:postgresql://your-host:port/your-db',
      dbtable 'your_target_table',
      user 'your-username',
      password 'your-password'
  )
  AS SELECT id, target_col FROM processed_df;
  

• 从源头避免NaN产生
  回溯你的数据处理流程，检查NaN是如何产生的（比如除法运算除以0、聚合函数计算空值等），在数据处理阶段提前规避：

  # 示例：除法运算时避免产生NaN
  from pyspark.sql.functions import div, when
  
  df = df.withColumn(
      "calculated_col",
      when(col("divisor") == 0, None).otherwise(div(col("numerator"), col("divisor")))
  )
  

内容的提问来源于stack exchange，提问作者von_Olivenbaum