EMR上Spark任务偶发持续运行异常，寻求排查思路

一、集群资源与调度异常排查 #

• 检查YARN资源调度状态：通过yarn application -list和yarn application -status <appId>查看作业状态，确认是否有任务长时间处于ACCEPTED状态，排查是否存在资源抢占、队列死锁或NodeManager节点挂起导致资源无法分配的情况。同时可登录ResourceManager UI查看队列资源使用明细。
• 节点硬件/网络波动：查看EMR节点的CloudWatch指标（CPU、内存、磁盘IO、网络带宽），确认异常时段是否出现节点负载突增、网络丢包或磁盘读写超时。重点排查Core/Task节点是否存在假死但未被YARN检测到的情况。
• 集群资源碎片化：作业提交后若集群剩余资源被拆分为小碎片，可能导致Spark Executor无法申请到足够的内存/CPU核数，任务持续等待资源。可检查spark.executor.instances、spark.executor.cores等配置是否合理，是否存在作业提交时资源参数被动态调整的情况。

二、Spark作业内部执行异常排查 #

• 分析Spark Event Log：在EMR的Spark History Server中定位异常作业的卡住阶段（Stage），查看任务执行详情。重点确认是否有任务长时间卡在RUNNING状态，或出现数据倾斜（单个任务处理数据量远高于其他任务）。
• 排查Shuffle操作异常：Shuffle阶段是卡顿高发区，查看Spark UI的Shuffle页面，检查每个节点的Shuffle输出/输入量、读写耗时，排查是否存在Shuffle数据量突增、文件丢失或磁盘IO瓶颈。
• 检查广播变量/累加器问题：若使用大广播变量，可能导致Executor内存溢出或广播超时；累加器逻辑错误可能引发任务死循环。需确认广播变量大小是否合理，累加器更新逻辑是否存在异常。

三、EMR服务与组件问题排查 #

• 版本兼容性验证：确认EMR集群的Spark、Hadoop、YARN版本组合是否存在已知Bug，例如部分YARN版本会出现资源泄漏，或特定Spark版本处理某些数据格式时出现挂起。可尝试切换至EMR官方推荐的稳定版本组合。
• 组件进程状态检查：查看ResourceManager、NodeManager、Spark Driver的进程日志，排查异常时段是否出现进程假死、GC超时或OOM未触发重启的情况。例如Driver进程的Full GC持续时间过长，会导致作业无响应。
• 临时文件清理检查：确认HDFS临时目录（如/tmp）或Sparkspark.local.dir配置的目录是否存在磁盘空间不足的情况，临时Shuffle文件未及时清理可能导致任务无法写入数据。

四、数据与外部依赖问题排查 #

• 数据源波动验证：检查作业读取的数据源（S3、Hive表等）在异常时段是否出现数据量突增、格式变化或服务不可用。例如S3读取延迟突然升高，会导致Spark任务等待数据下载。
• 外部服务依赖排查：若作业依赖数据库、缓存等外部服务，确认这些服务在异常时段是否出现超时、限流或宕机。例如JDBC连接池耗尽会导致任务无法获取连接而卡住。
• 脏数据/特殊格式排查：偶尔出现的脏数据或特殊格式数据可能导致Spark解析逻辑进入死循环或无限重试。例如CSV文件中未闭合的引号会导致解析器持续等待结束符。

内容的提问来源于stack exchange，提问作者seou1