Spark-submit升级至2.1+后org.apache.commons.commons-email兼容性回归问题咨询
Spark Submit版本升级引发的
commons-email发信异常问题 问题现象
- 基于Scala开发的应用,在将
org.apache.spark:spark-core、org.apache.spark:spark-sql依赖升级至2.4.3版本后,无法正常发送邮件 - 应用的邮件功能依赖固定使用
org.apache.commons:commons-email:1.4版本 - 日志无完整报错信息,仅输出截断的异常堆栈:
org.apache.commons.mail.Email.sendMimeMessage(Email.java:1421) org.apache.commons.mail.Email.send(Email.java:1448) (...)
- 初步排查结果:SMTP主机运行状态正常,可独立完成发信验证;其他仍使用Spark 2.0.1的同类型应用,邮件发送功能运行正常
复现验证结论
- 即便将应用打包携带的Spark依赖版本回退至2.0.1,发信异常问题依旧存在
- 只有将运行环境使用的
${SPARK_HOME}/bin/spark-submit回退到2.0.1及任意小于2.1的版本时,发信功能才能恢复正常 - 待确认核心问题:Spark 2.1及以上版本的spark-submit运行时,是否存在与
org.apache.commons:commons-email的已知类路径冲突问题
内容的提问来源于stack exchange,提问作者Julia Bel
相关产品推荐
相关产品推荐

