Spark SQL读取含Option[BigDecimal]字段的CSV至Dataset[T]遇类型转换问题

这个坑我之前踩过！你猜的没错，就是Spark CSV读取的自动类型推断在搞事情——它会默认把数值字段识别成double，而不是你原本的Decimal类型，导致后续转换时触发精度检查报错。要避免强制转换，这里有几个靠谱的方案：

方案1：写入时保存Schema，读取时复用 #

既然你写入时的Schema是正确的，那直接把这个Schema存下来，读取的时候告诉Spark用这个Schema解析就行：

• 写入CSV前，先把Dataset的Schema导出为JSON文件：

// 导出Schema到JSON
val schemaJson = yourDataset.schema.json
import java.io.PrintWriter
new PrintWriter("dataset-schema.json") { 
  write(schemaJson)
  close()
}
// 然后正常写入CSV
yourDataset.write.csv("your-output-path")

• 读取时，先加载保存的Schema，再指定给CSV读取器：

import org.apache.spark.sql.types.StructType
// 从JSON文件加载Schema
val targetSchema = StructType.fromJson(sc.textFile("dataset-schema.json").first())
// 用指定Schema读取CSV
val loadedDataset = spark.read.schema(targetSchema).csv("your-output-path").as[T]

这种方式完全复用原始Schema，不会有任何推断偏差，最省心。

方案2：读取时手动定义精确Schema #

如果你清楚知道Dataset的字段结构，可以直接手动构建Schema，明确指定x字段为Decimal类型：

import org.apache.spark.sql.types._
// 按你的T类结构定义Schema，x字段对应DecimalType(38,18)
val customSchema = StructType(Seq(
  // 替换成你实际的其他字段
  StructField("other_field", StringType, nullable = true),
  // Option[BigDecimal]对应nullable=true的DecimalType
  StructField("x", DecimalType(38, 18), nullable = true)
))
// 用自定义Schema读取CSV
val loadedDataset = spark.read.schema(customSchema).csv("your-output-path").as[T]

这个方案不需要额外保存Schema文件，适合Schema结构固定且你能准确写出的场景。

补充说明 #

为什么会触发这个错误？因为Spark默认不允许可能导致精度损失的类型转换——double转Decimal(38,18)时，部分浮点数的二进制表示无法精确映射为十进制，存在截断风险，所以抛出了AnalysisException。而上面的方案都是让Spark从一开始就把x字段解析为Decimal类型，从根源上避免了类型转换的问题。

内容的提问来源于stack exchange，提问作者Terry Dactyl