Spark任务遇MetadataFetchFailedException报错，求原因与解决方法

报错信息翻译整理 #

Exception in thread "main" org.apache.spark.SparkException: 任务因阶段失败中止：ShuffleMapStage 17（位于SPExtractTrainData.scala:245的collect操作）已达到最大失败次数：4次。最近一次失败原因：
org.apache.spark.shuffle.MetadataFetchFailedException: 无法反序列化shuffle 0的广播map状态：java.io.IOException: org.apache.spark.SparkException: 获取broadcast_153的broadcast_153_piece1失败
at org.apache.spark.MapOutputTrackerWorker.$anonfun$getStatuses$7(MapOutputTracker.scala:1459)

报错原因分析 #

• 广播分片丢失/损坏：广播数据的分片（broadcast_153_piece1）无法获取，可能是Executor节点异常宕机、网络传输中断导致分片未成功存储，或者本地磁盘上的广播分片文件损坏。
• Shuffle元数据传输超时：Map阶段输出的元数据通过广播发送给Reduce端时，网络带宽不足、延迟过高导致传输超时，无法完整获取元数据。
• Executor资源不足：Executor内存不足时，广播数据无法正常加载或反序列化；频繁的GC也会打断广播数据的处理流程，导致分片获取失败。
• 序列化机制不兼容：如果任务中使用了自定义类，未正确实现序列化接口（如Serializable），或者Spark序列化配置（Java序列化 vs Kryo序列化）不匹配，会导致反序列化广播的map状态失败。
• collect操作引发的压力：报错触发点是collect方法，该操作会将分布式数据集全量拉取到Driver端，若数据量过大，会同时给Driver内存和广播传输带来极大压力，进而引发元数据获取失败。

解决办法 #

• 检查Executor状态：
  登录Spark UI的Executors页面，查看是否有Executor异常退出。若存在OOM（内存溢出），调整Executor内存配置：

  --executor-memory 8g --driver-memory 4g
  

  若为节点硬件故障，排查对应节点的运行状态。

• 调整广播与Shuffle超时配置：
  增大广播超时时间，避免因网络延迟导致分片获取失败：

  --conf spark.broadcast.timeout=600
  

  调整Shuffle元数据获取超时：

  --conf spark.shuffle.metadataFetch.timeout=120
  

• 启用外部Shuffle服务：
  启用External Shuffle Service，避免Executor宕机后Shuffle数据丢失，配置：

  --conf spark.shuffle.service.enabled=true
  

• 优化序列化配置：
  改用Kryo序列化提升性能与兼容性，同时注册自定义类：

  --conf spark.serializer=org.apache.spark.serializer.KryoSerializer --conf spark.kryo.registrator=com.yourpackage.YourKryoRegistrator
  

  确保自定义类实现Serializable接口。

• 优化collect操作：
  若无需全量数据，将collect替换为take(n)获取指定数量数据；或改用foreachPartition在Executor端处理数据，避免大量数据拉取到Driver端。

内容的提问来源于stack exchange，提问作者Justin Shan