Step Function中Glue Job Bookmark功能异常问题求助

核心问题原因 #

同一Glue Job的并发实例默认共享作业级别的Job Bookmark状态，并行执行时会互相干扰：后启动的实例可能读取到未更新的书签，或覆盖先启动实例的书签进度，最终导致重复处理数据。

可行解决方案 #

1. 为并发实例分配独立的Bookmark分区

这是官方推荐的解决思路，通过--job-bookmark-partition-key参数为每个并行任务指定唯一标识（比如你处理的表名），让每个实例拥有独立的Bookmark状态，互不干扰。

• 在Step Function调用Glue Job时，给每个并行任务传递不同的分区键参数：

  "Arguments": {
    "--job-bookmark-option": "job-bookmark-enable",
    "--job-bookmark-partition-key": "$.target_table",
    "--target_table": "$.target_table"
  }
  

  这里$.target_table是Step Function输入中传递的表名变量，确保每个并行任务的分区键唯一。

2. 修正Step Function的参数传递逻辑

• 不要依赖作业详情页的默认Bookmark设置，显式在Step Function的Task参数中指定--job-bookmark-option:job-bookmark-enable，避免并发时参数被覆盖或忽略。
• 检查Step Function的Glue Job调用任务是否使用了同步模式（startJobRun.sync），确保每个任务的Bookmark状态在任务结束后正确持久化。

3. 验证Bookmark状态

通过Glue控制台或API确认每个分区键对应的Bookmark是否正常生成：

• 控制台路径：Glue作业详情 → Job bookmarks → 选择对应的分区键查看历史进度
• API调用示例：

  aws glue get-job-bookmark --job-name myjob1 --job-bookmark-partition-key 'target_table=user_table'
  

4. 备选方案（不推荐）

如果无法使用分区键，可考虑：

• 为每张表创建独立的Glue Job，各自维护Bookmark，但会增加作业维护成本。
• 将Step Function中同一Job的并行调用改为串行执行，但会失去并行处理的性能优势。

内容的提问来源于stack exchange，提问作者Sprad