Scala使用Spark读取S3文件时无法解析AnalysisException如何解决？

1 报错Cannot resolve symbol AnalysisException的原因及修复 #

该报错由两个问题共同导致：

• 导入包路径错误：不同Spark版本的AnalysisException存放路径不同：
  • Spark 2.x版本：存放于org.apache.spark.sql包下，原有导入语句是正确的
  • Spark 3.0及以上版本：该类被移到了org.apache.spark.sql.catalyst.analysis包下，需要将导入语句替换为：

    import org.apache.spark.sql.catalyst.analysis.AnalysisException
    

• Catch语法错误：你写的是Java风格的catch语法，Scala的try-catch需要使用模式匹配写法，正确格式如下：

  try {
    partnerData = spark.read
      .format("csv")
      .schema(inputSchema)
      .load(inputPath)
  } catch {
    case e: AnalysisException => 
      // 可添加日志打印异常信息，方便后续排查
      println(s"路径读取异常: ${e.getMessage}")
  }
  

2 更合理的实现方向 #

现有逻辑还有明显的优化空间，推荐优先选择「提前检查路径存在性」的方案，比捕获异常更可控：

• 借助Hadoop FileSystem API提前检查S3路径是否存在，不需要等到读文件时触发异常：

  import org.apache.hadoop.fs.{Path, FileSystem}
  // 从Spark上下文获取Hadoop配置，自动兼容S3认证信息
  val hadoopConf = spark.sparkContext.hadoopConfiguration
  val fs = FileSystem.get(hadoopConf)
  val inputPathObj = new Path(inputPath)
  var partnerData: Option[org.apache.spark.sql.DataFrame] = None
  
  if (fs.exists(inputPathObj)) {
    partnerData = if (fileType == "csv") {
      Some(spark.read.format("csv").schema(inputSchema).load(inputPath))
    } else {
      Some(spark.read.format("parquet").load(inputPath))
    }
  }
  

  该方案的优势是：不需要处理异常分支，同时覆盖csv和parquet两种格式的路径校验，使用Option类型替代null也避免了后续处理的空指针风险。
• 如果你坚持使用异常捕获方案，需要把else分支的parquet读逻辑也包裹进try块中，否则parquet格式读取路径不存在时依然会抛出未捕获的异常。

内容的提问来源于stack exchange，提问作者ahajib