AWS EMR Spot实例异常：集群显示Completed但查询失败问题排查

背景与异常现象 #

• 日常通过AWS EMR执行KPI聚合查询，采用Spot实例，此前曾因资源池容量不足导致实例被强制终止，集群状态显示Canceled，需重新执行任务
• 近期出现异常：集群状态显示Completed，但日志显示部分查询执行失败
• 集群初始配置为1个主节点+3个核心节点；此次任务执行时，初始3个核心节点因提示Spot instance was terminated due to not enough capacity in the Spot instance pool被终止，随后系统自动启动了3个同类型核心节点，累计使用6个核心节点（不含主节点）
• 推测：初始节点终止后新节点完成分配，但任务交接失败导致部分查询失败，却触发了集群Completed状态

核心疑问 #

• 新增的3个核心节点是否由EMR集群的AutoScaling配置触发？
• 是否存在可阻止此类自动新增实例的配置项？

集群配置信息 #

• ServiceRole：EMR_DefaultRole
• JobFlowRole：EMR_EC2_DefaultRole
• AutoScalingRole：EMR_AutoScaling_DefaultRole
• 节点规格：1台m5.xlarge主节点，3台c5.24xlarge核心节点
• 组件版本：EMR=5.28.0，Hadoop=2.8.5，Hive=2.3.6，Presto=0.227

备注 #

• 查询内容无问题
• 服务器日志已记录但无法分享
• EMR集群配置文件无法提供
• 已通过Spot Instance Advisor检查实例使用情况，未发现异常

内容的提问来源于stack exchange，提问作者how_about_aws