如何测试已停用的AWS Glue 0.9版本Python及Scala脚本？

本地模拟近似环境 #

• 用Docker搭建基于Spark 2.2的环境（Glue 0.9底层依赖Spark 2.2），手动安装对应版本的Glue Python/Scala库（可从旧版AWS SDK归档包中提取）。
  • Python脚本：用pyspark搭配旧版glue-libs运行，直接测试核心ETL逻辑，比如数据读取、转换、输出的流程。
  • Scala脚本：基于Spark 2.2配置sbt/maven依赖，编写测试用例验证代码逻辑。
• 局限性：没法完全复现AWS Glue的Catalog集成、Job Bookmarks等服务端特性，但能覆盖大部分业务逻辑的正确性验证。

借助Glue高版本兼容环境做间接验证 #

• 用Glue 2.0版本（相对更兼容旧API）运行脚本，保留0.9的核心调用逻辑，比如create_dynamic_frame.from_catalog这类旧版方法，对比预期输出：
  • 如果脚本在2.0环境中能正常运行且输出符合预期，可间接证明原0.9版本脚本逻辑无问题。
  • 若出现API兼容报错，直接定位需要修改的部分，同时反向验证原脚本的潜在问题。

静态代码校验+单元测试 #

• 对照Glue版本差异的官方说明，逐一排查0.9脚本中的API是否在高版本中被废弃或修改：
  • 比如检查DynamicFrame的resolveChoice、dropFields等方法的参数是否有变更。
• 编写单元测试：
  • Python用pytest或unittest，模拟输入数据集，调用脚本中的核心转换函数，验证输出结果。
  • Scala用ScalaTest框架，针对数据处理逻辑编写测试用例，确保逻辑正确性。

利用历史运行记录反向验证 #

• 如果之前有Glue 0.9任务的运行日志和输出快照，拿相同的输入数据在高版本环境中运行升级后的脚本，对比两者的输出：
  • 若结果一致，说明原0.9脚本的逻辑是正确的；若不一致，可定位差异点，验证原脚本的问题。

内容的提问来源于stack exchange，提问作者Adigkar