Spark读取S3上Delta Lake的_last_checkpoint文件失败求助

• 确认文件存在性与路径正确性
  先验证目标文件s3a://test/source/_delta_log/_last_checkpoint.json是否真实存在——Delta表只有在执行过checkpoint操作后才会生成该文件，若表刚创建或未触发checkpoint，文件本身就不存在。也可以用Hadoop API直接检查：

  import org.apache.hadoop.fs.FileSystem;
  import org.apache.hadoop.fs.Path;
  
  FileSystem fs = FileSystem.get(session.sparkContext().hadoopConfiguration());
  Path checkpointPath = new Path(logPath + "_last_checkpoint.json");
  System.out.println("文件是否存在：" + fs.exists(checkpointPath));
  

• 调整JSON读取参数
  _last_checkpoint.json是单行JSON格式，Spark默认JSON读取器可能无法正确识别，需开启multiLine选项强制解析单行内容：

  Dataset<Row> jsonDf = session.read()
      .schema(getCheckpointSchema())
      .option("multiLine", true)
      .json(logPath + "_last_checkpoint.json");
  

  同时确保自定义Schema与文件结构完全匹配，_last_checkpoint的标准结构包含version（长整型）和parts（数组，元素含path字符串、size长整型），Schema示例：

  import org.apache.spark.sql.types.*;
  
  private StructType getCheckpointSchema() {
      return new StructType()
          .add("version", LongType, false)
          .add("parts", ArrayType.apply(
              new StructType()
                  .add("path", StringType, false)
                  .add("size", LongType, false)
          ), false);
  }
  

• 换用文本读取后解析JSON
  如果JSON读取方式仍失效，可先将文件读为文本行，再通过Spark内置函数解析JSON：

  import org.apache.spark.sql.functions;
  
  Dataset<String> textDf = session.read().textFile(logPath + "_last_checkpoint.json");
  Dataset<Row> jsonDf = textDf.select(functions.from_json(functions.col("value"), getCheckpointSchema()).as("checkpoint"))
      .select("checkpoint.*");
  

• 排查S3权限与配置
  针对S3A路径，需确认Spark的Hadoop配置中S3访问密钥（fs.s3a.access.key、fs.s3a.secret.key）正确，且当前账号对目标路径拥有读权限。权限不足会导致文件被判定为不存在，进而触发路径被忽略的警告。

内容的提问来源于stack exchange，提问作者Melika Ghiasi