AWS EC2中Spark集成Salesforce遇NoClassDefFoundError问题求助

错误原因 #

java.lang.NoClassDefFoundError: com/sforce/ws/ConnectionException 明确说明Spark执行环境中缺失Salesforce Web Service Connector（WSC）的核心依赖类。你生成的partner.jar是基于WSDL的业务封装，但springml的spark-salesforce连接器本身需要依赖force-wsc等基础库才能加载ConnectionException这类核心类，仅复制partner.jar无法满足依赖要求。

具体解决步骤 #

1. 补齐所有必要依赖包 #

将Windows上生成partner.jar时用到的全部依赖包（antlr-runtime-3.5.3.jar、force-wsc-56.1.0.jar、js-1.7R2.jar、ST4-4.3.4.jar）复制到AWS EC2机器上。注意：tools.jar无需从Windows复制，直接使用EC2本地JDK路径下的对应文件即可，避免版本不兼容。

2. 显式指定Spark任务依赖 #

Spark任务运行时必须显式加载所有依赖，不能仅依赖环境类路径：

• 如果用spark-submit提交脚本：

spark-submit \
  --jars partner.jar,force-wsc-56.1.0.jar,antlr-runtime-3.5.3.jar,ST4-4.3.4.jar,js-1.7R2.jar \
  --py-files your_salesforce_script.py \
  your_salesforce_script.py

• 如果在Notebook（如Jupyter、Zeppelin）中运行，需在SparkSession初始化时配置依赖：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("SalesforceDataLoad") \
    .config("spark.jars", "partner.jar,force-wsc-56.1.0.jar,antlr-runtime-3.5.3.jar,ST4-4.3.4.jar,js-1.7R2.jar") \
    .getOrCreate()

3. 验证依赖兼容性 #

• 确保force-wsc-56.1.0.jar和partner.jar版本完全匹配（partner.jar是用该版本WSC生成的），版本不一致会导致类结构不兼容。
• 确认springml的spark-salesforce连接器版本与你的Spark版本兼容，例如Spark 3.x需对应com.springml:spark-salesforce_2.12:1.1.1这类适配版本，若未添加该连接器Jar，需一并加入依赖列表。

4. 验证依赖加载有效性 #

在EC2上执行以下命令，检查Spark能否成功加载目标类：

spark-shell --jars partner.jar,force-wsc-56.1.0.jar

进入Scala shell后执行：

Class.forName("com.sforce.ws.ConnectionException")

如果无报错，说明依赖加载正常，再运行你的Python读取代码即可。

内容的提问来源于stack exchange，提问作者Dinesh Kumar