Spark cluster模式提交任务运行后报main线程异常问题求助

前置操作：获取作业详细报错日志 #

当前客户端抛出的异常仅能说明集群侧作业执行失败，无具体报错上下文，需先拉取完整日志定位根因：

• 若集群开启了YARN日志聚合，执行命令拉取全量日志：yarn logs -applicationId application_1635856758535_5228470，可直接获取Driver、所有Executor的stdout、stderr输出
• 若未开启日志聚合，前往ResourceManager历史服务页面，或对应NodeManager节点的本地日志目录（默认路径为/var/log/hadoop-yarn/containers/）查找对应应用ID的日志文件

常见问题及解决方案 #

结合你仅涉及Parquet读写的作业场景，以及提交命令的配置，大概率为以下几类问题：

1. 内存溢出类问题 #

触发特征

日志中存在OutOfMemoryError、Java heap space、GC overhead limit exceeded类关键词，分为Executor内存溢出和Driver内存溢出两种情况：

• 集群模式下Driver默认内存通常为1G，若作业存在collect、count、全局排序等需要将大量数据拉回Driver端的操作，会触发Driver OOM
• Executor单分区加载数据量过大、或处理宽表/嵌套结构Parquet文件时，容易触发Executor OOM

修复方案

• 调整Driver内存：提交命令增加--driver-memory 8G参数，根据作业数据量调整大小
• 调整Executor内存配置：在现有--executor-memory 40G基础上，增加配置--conf spark.executor.memoryOverhead=6G（堆外内存一般设为Executor内存的10%~15%）
• 调小单分区数据大小：增加配置--conf spark.sql.files.maxPartitionBytes=134217728（即128M，可根据实际场景调整），避免单分区加载过量数据

2. Parquet读写异常类问题 #

触发特征

日志中存在FileAlreadyExistsException、Permission denied、Could not read footer for file类关键词：

• 写入目标路径已存在，且未配置覆盖写入策略
• 读写路径的用户权限不足
• 读取路径下存在损坏的Parquet文件

修复方案

• 写入时配置覆盖模式：在代码中写入Parquet前增加mode("overwrite")配置，或提交作业前提前清空目标输出路径
• 校验读写路径的访问权限，确保提交作业的用户对路径有对应读写权限
• 若存在损坏文件，增加配置--conf spark.sql.files.ignoreCorruptFiles=true跳过坏文件，或用parquet-tools工具批量校验后删除损坏文件

3. 调度配置不合理触发超时 #

触发特征

日志中存在Allocation timeout、Container killed by YARN for exceeding resource limits类关键词：
你当前提交命令中spark.locality.wait配置为5000000ms（接近1.5小时），远高于默认3s的合理值，过长的本地化等待会导致作业长时间排队占用资源，触发YARN的资源超时杀死策略。

修复方案

将spark.locality.wait调整为合理值，例如30000ms（30s）即可，过长的本地化等待无实际性能收益，反而会大幅提升作业超时风险。

内容的提问来源于stack exchange，提问作者Jane