AWS Glue JDBC源作业书签值修改及自定义增量加载咨询

1. 支持通过自定义查询加载指定时间范围的数据 #

完全可以通过自定义SQL查询实现加载截至特定时间点的数据，无需依赖作业书签的自动增量逻辑：

• 在Glue作业中直接编写带时间过滤条件的SQL语句读取SQL Server数据，例如：

  SELECT * FROM your_target_table WHERE record_timestamp <= '2024-05-20 18:00:00'
  

• 若使用Glue DynamicFrame读取，可通过push_down_predicate参数下推过滤条件，让SQL Server直接执行过滤，减少数据传输量，示例代码：

  datasource = glueContext.create_dynamic_frame.from_catalog(
      database="your_db",
      table_name="your_table",
      push_down_predicate="record_timestamp <= '2024-05-20 18:00:00'"
  )
  

这种方式无需开启作业书签，就能精准获取目标时间范围内的数据，完全匹配你“截至特定时间点加载”的需求。

2. 支持修改作业书签值 #

AWS Glue允许手动干预作业书签的值，主要有两种操作方式：

• 重置作业书签：在Glue控制台进入目标作业详情页，找到「Job bookmarks」选项选择重置；或使用AWS CLI命令：

  aws glue reset-job-bookmark --job-name your_job_name
  

  重置后作业会从头加载数据，结合自定义查询即可实现加载到指定时间点的需求。
• 手动更新书签值：通过AWS Glue的UpdateJobBookmark API（或对应SDK方法），直接将书签的标记值设置为你指定的时间点。比如在Python作业中调用相关接口，覆盖当前书签的时间戳值，确保作业仅加载该时间点之前的数据。

内容的提问来源于stack exchange，提问作者Srikanth Kantamaneni