AWS Glue同一作业内配置多个书签的有效性及最佳实践问询

两个书签都会被更新吗？ #

答案是两个书签都会被更新。

你在每个create_dynamic_frame_from_options调用里指定的transformation_ctx参数，本质上是给每个数据源的跟踪任务分配了一个独立标识。AWS Glue会为每个唯一的transformation_ctx单独维护对应S3路径的增量状态。只要你的作业正常执行到job.commit()这一步，所有在脚本中定义的、带有唯一transformation_ctx的书签都会被同步更新，不存在只有第一个书签被更新的情况。

比如你脚本里的DefinitionBookmark和TypeBookmark是两个完全独立的书签，分别对应DefinitionPath和TypePath的增量跟踪，它们的状态不会互相干扰。

是否推荐在单个Glue作业中使用多个书签？ #

技术上这完全可行，但大多数示例只用单个书签，是因为常见Glue作业场景是针对单一数据源的增量处理。如果你的业务逻辑确实需要同时处理多个独立数据源，且每个都需要单独的增量跟踪，那这种用法是合理的，但要注意几个关键点：

• 必须保证每个transformation_ctx的名称唯一，重复名称会导致书签状态混乱
• 作业的commit()是原子性的：如果作业在commit()前失败，所有书签都不会更新；只有作业完全成功执行到最后，所有书签才会同步更新
• 后续维护成本会增加：排查增量数据遗漏、书签状态异常时，你需要分别检查每个书签的状态，而非只看一个
• 如果多个数据源的增量处理逻辑可以拆分，放到不同作业中可能会让故障隔离、监控和维护更简单

如果你的场景里两个数据源的处理强关联（比如必须同时处理完才能进行后续步骤），那放在一个作业里用多个书签是合适的；如果两者是独立任务，拆分到不同作业可能更灵活。

内容的提问来源于stack exchange，提问作者Sixsmith