Spark中是否存在类似AWS Glue Bookmark的作业级进度追踪功能

Spark 原生没有提供和 AWS Glue Bookmark 完全对齐的开箱即用功能，但可以通过原生组件组合实现完全同等的跨多表文件处理进度跟踪能力，以下是具体实现方式：

核心能力对齐说明 #

Glue Bookmark 的核心作用是跨作业关联的多个表/数据源，统一跟踪所有已处理文件的元数据（修改时间、路径、大小等），作业异常重启后自动跳过已处理文件，仅读取增量的新增/变更文件。你可以通过以下两种主流方案实现同等效果：

方案1：批处理场景自定义状态管理 #

适合用 Spark 批处理执行定时同步任务的场景：

• 单独维护一个轻量的状态存储（可以是Hive小表、本地/HDFS JSON文件、关系型数据库等），存储维度为表名 + 最新处理时间戳 或 表名 + 已处理文件唯一标识（路径+ETag+大小）
• 作业启动时先读取状态存储的已有记录，给每个待读取的数据源表配置对应的过滤规则：
  • 按时间过滤可以直接用Spark文件源的modifiedAfter参数，仅读取上次处理时间之后更新的文件
  • 按文件唯一标识过滤可以先拉取对应路径下的全量文件列表，过滤掉已经标记为已处理的文件后再读取
• 所有表处理完成且任务成功后，更新状态存储的进度记录即可

该方案灵活度极高，可以根据业务需求自定义过滤规则，比如排除指定前缀的文件、按业务字段做增量过滤等，不受官方固定逻辑限制。

方案2：结构化流场景内置Checkpoint能力 #

如果你使用 Spark Structured Streaming 做近实时增量处理，原生自带的Checkpoint机制已经完全覆盖Glue Bookmark的能力：

• 每个输入流对应一张待同步的表，为每个流单独配置独立的checkpointLocation路径
• Spark会自动在指定路径下持久化已处理文件的元数据，作业重启后自动跳过已处理文件，不需要额外写状态管理逻辑
• 支持同时处理任意数量的流/表，互不干扰

以下是单表增量同步的示例代码：

# 读取S3路径下的增量CSV文件
stream_df = spark.readStream \
  .option("maxFilesPerTrigger", 20) \
  .csv("s3://your-source-bucket/table_a/")

# 写出到目标表，配置checkpoint路径跟踪进度
query = stream_df.writeStream \
  .option("checkpointLocation", "s3://your-checkpoint-bucket/table_a/") \
  .toTable("database.target_table_a")

两种方案和Glue Bookmark的差异 #

• Glue Bookmark是全托管能力，无需自行维护状态存储的可用性、故障回滚等逻辑，Spark方案需要自行处理状态相关的异常场景
• Spark方案的定制化空间远高于Glue Bookmark，可以适配复杂的多数据源混合同步、自定义增量规则等特殊需求

内容的提问来源于stack exchange，提问作者VE88