Spark作业完成后AWS EMR on EKS任务仍保持RUNNING状态求助

针对你遇到的EMR on EKS上PySpark+Hudi作业实际完成但任务持续显示RUNNING的问题，常见原因和对应解决方式如下：

可能原因 #

• 驱动进程未正常退出：尽管代码中调用了spark.stop()和sys.exit(0)，但Hudi的异步后台线程（比如元数据清理、版本管理线程）或Spark的ShutdownHook可能未完全执行完毕，导致驱动进程挂住，EMR无法检测到作业结束。
• EMR作业状态监控逻辑延迟：EMR on EKS通过监控驱动Pod的生命周期判断作业状态，如果驱动Pod脚本执行完成后，Pod因残留进程未进入Terminated状态，EMR会持续标记作业为RUNNING。
• Hudi异步任务未终止：Hudi执行alter table或merge into操作后，可能存在异步的元数据同步、旧数据清理任务，这些任务不受spark.stop()直接管控，会占用驱动进程资源导致无法退出。

解决方法 #

1. 添加Spark/Hudi配置强制终止后台任务
   在SparkSession初始化时增加以下配置，禁用Hudi异步清理并缩短驱动进程超时时间：

   .config('spark.sql.hoodie.cleaner.async.enabled', 'false')
   .config('spark.driver.cleanupTimeout', '30000')  # 30秒超时
   .config('spark.driver.extraJavaOptions', '-Dspark.driver.allowMultipleContexts=false')
   

2. 检查驱动Pod的残留进程
   通过kubectl查看驱动Pod的运行进程，确认是否有未终止的后台进程：

   kubectl exec -it <your-driver-pod-name> -- ps aux
   

   如果发现Hudi相关的后台线程，可在代码中显式关闭Hudi的资源管理器。

3. 优化代码中的资源释放逻辑
   除了依赖with块自动销毁SparkSession，可在代码末尾显式调用SparkContext的stop方法，确保所有资源被释放：

   spark.sparkContext.stop()
   

4. 调整EMR作业的成功判定规则
   在EMR作业配置中，设置基于日志的成功判定条件，比如检测到日志中的FINISH关键字时，自动标记作业为SUCCEEDED，无需等待驱动Pod终止。

内容的提问来源于stack exchange，提问作者Rinze