Spark 2.4.5 MetricsSystem注册Source失败作业异常终止如何解决？

你碰到的异常完全匹配MetricsSystem的线程安全缺陷：Spark 2.4.x版本中MetricsSystem维护指标源的容器是线程不安全的ArrayBuffer，多任务同时执行指标注册、移除操作时会触发竞态条件，导致数组越界，和你提到的已知问题根因完全一致。

• 方案1（优先推荐）：关闭Executor端任务指标收集
  提交作业时增加配置参数spark.executor.metrics.source.taskMetrics.enabled=false，该配置会直接关闭TaskRunner对MetricsSystem的注册、移除逻辑，从根源上避免竞态条件。该方案无需修改任何业务代码，仅调整提交参数即可生效，唯一影响是Executor端不再输出单任务的性能指标，对作业核心运行逻辑无任何影响。
• 方案2：给Spark 2.4.5打补丁修复
  找到Spark源码中MetricsSystem.scala文件，将原有线程不安全的ArrayBuffer类型的sources容器，替换为线程安全的实现（比如封装java.util.concurrent.CopyOnWriteArrayList），同时调整registerSource、removeSource方法适配新的容器。重新编译修改后的代码，将编译得到的class文件替换原spark-core包中的对应文件，或者将修改后的类打包后放在作业classpath最前面优先加载即可，该方案可以保留完整的指标收集能力，从根源修复问题。
• 方案3（应急缓解）：降低单Executor并发度
  调小配置spark.executor.cores的数值，减少单个Executor上同时运行的任务数量，降低多任务同时操作指标容器的概率，该方案无法完全避免问题，仅能降低异常出现的频率。
• 方案4（应急缓解）：提高任务最大重试次数
  将配置spark.task.maxFailures从默认值4调整为更大的数值（比如8或10），避免偶发的异常直接终止整个作业，该方案同样属于缓解措施，无法根除问题。

内容的提问来源于stack exchange，提问作者Rookie