Scala中使用Dataset读取CSV时触发AnalysisException问题求助

看起来你在尝试用Spark Dataset读取CSV文件时遇到了问题，从你给出的代码片段来看，大概率是CSV读取配置不全、数据类型定义不合理或者字段映射不匹配导致的报错。我来帮你梳理常见问题和修正方案：

常见问题分析 #

• CSV读取选项缺失：默认情况下Spark读CSV不会自动识别表头，也不会按你定义的样例类Schema解析，直接映射会因为字段顺序、类型不匹配报错
• 数据类型定义不合理：比如mobileNo用Double会导致长号码精度丢失（数字转Double会失真）；如果CSV中存在空值，Int/Double这类非可选类型会因为无法解析null抛出异常
• 样例类字段与CSV表头不匹配：如果CSV的列名和你定义的AadharData字段名不一致，会导致字段映射失败

修正后的完整代码 #

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.Encoders

// 优化数据类型：将可能为空的字段改为Option类型，手机号改用String避免精度问题
final case class AadharData(
    date: String,
    registrar: String,
    agency: String,
    state: String,
    district: String,
    subDistrict: String,
    pinCode: Option[Int],    // 允许空值
    gender: String,
    age: Option[Int],        // 允许空值
    aadharGenerated: Option[Int],
    rejected: Option[Int],
    mobileNo: String,        // 用String存储手机号，避免Double精度丢失
    email: String
)

object AadharDataProcessor {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("AadharDataProcessing")
      .master("local")
      .getOrCreate()

    import spark.implicits._

    // 读取CSV时配置关键参数，确保和样例类正确映射
    val aadharDS = spark.read
      .option("header", "true")                // 告知Spark第一行是表头
      .option("nullValue", "")                 // 将空字符串视为null
      .option("treatEmptyValuesAsNulls", "true")
      .schema(Encoders.product[AadharData].schema) // 显式使用样例类的Schema，避免自动推断出错
      .csv("/path/to/your/aadhar_data.csv")    // 替换为你的CSV文件实际路径
      .as[AadharData]                          // 转换为Dataset[AadharData]

    // 测试：打印前10条数据验证读取结果
    aadharDS.show(10)

    spark.stop()
  }
}

额外注意事项 #

• 如果你的CSV用了特殊分隔符（比如制表符），需要添加.option("delimiter", "\t")来指定
• 如果日期格式不匹配，可添加.option("dateFormat", "yyyy-MM-dd")指定日期格式
• 生产环境请移除.master("local")，改为提交到Spark集群运行
• 若仍报错，建议先打印CSV的自动推断Schema（spark.read.option("header","true").csv("/path").printSchema()），对比和样例类的字段类型是否一致

内容的提问来源于stack exchange，提问作者Kumar Harsh