You need to enable JavaScript to run this app. Spark-submit升级至2.1+后org.apache.commons.commons-email兼容性回归问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

Spark-submit升级至2.1+后org.apache.commons.commons-email兼容性回归问题咨询

Spark Submit版本升级引发的commons-email发信异常问题

问题现象

  • 基于Scala开发的应用,在将org.apache.spark:spark-core、org.apache.spark:spark-sql依赖升级至2.4.3版本后,无法正常发送邮件
  • 应用的邮件功能依赖固定使用org.apache.commons:commons-email:1.4版本
  • 日志无完整报错信息,仅输出截断的异常堆栈:
org.apache.commons.mail.Email.sendMimeMessage(Email.java:1421)
org.apache.commons.mail.Email.send(Email.java:1448)
(...)
  • 初步排查结果:SMTP主机运行状态正常,可独立完成发信验证;其他仍使用Spark 2.0.1的同类型应用,邮件发送功能运行正常

复现验证结论

  • 即便将应用打包携带的Spark依赖版本回退至2.0.1,发信异常问题依旧存在
  • 只有将运行环境使用的${SPARK_HOME}/bin/spark-submit回退到2.0.1及任意小于2.1的版本时,发信功能才能恢复正常
  • 待确认核心问题:Spark 2.1及以上版本的spark-submit运行时,是否存在与org.apache.commons:commons-email的已知类路径冲突问题

内容的提问来源于stack exchange,提问作者Julia Bel

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 16:54:04