EMR Serverless（PySpark）中spark-cassandra-connector加载失败问题求助

我来帮你解决在EMR Serverless上运行PySpark连接Cassandra遇到的这两个问题，都是实际使用中常见的坑，咱们一个个来梳理：

问题1：--jars方式无法识别org.apache.spark.sql.cassandra数据源 #

你当前的核心问题是只传入了driver的Jar包，但Cassandra数据源的定义类并不在driver包中：

• org.apache.spark.sql.cassandra这个数据源的核心实现是在主connector包spark-cassandra-connector_2.12-3.2.0.jar里，而你只指定了spark-cassandra-connector-driver_2.12-3.2.0.jar，所以Spark找不到对应的数据源类。

解决步骤： #

1. 把两个必要的Jar包都上传到你的S3存储路径：
   • spark-cassandra-connector_2.12-3.2.0.jar（主connector包）
   • spark-cassandra-connector-driver_2.12-3.2.0.jar（驱动包）
2. 在提交任务时用逗号分隔指定两个Jar：

   --jars s3://XXX/XXXX/spark-cassandra-connector_2.12-3.2.0.jar,s3://XXX/XXXX/spark-cassandra-connector-driver_2.12-3.2.0.jar
   

3. 添加Spark配置项，让Spark加载Cassandra的扩展插件：

   --conf spark.sql.extensions=com.datastax.spark.connector.CassandraSparkExtensions
   --conf spark.cassandra.connection.host=你的Cassandra集群地址
   

4. 额外确认：EMR Serverless的Spark版本要和Connector版本兼容，比如你用的Spark 3.2.x对应Connector 3.2.0是完全匹配的，如果是Spark 3.3则需要升级到Connector 3.3.0。

问题2：--packages方式超时（无法访问公网Maven仓库） #

这个确实是VPC网络防火墙限制导致的——EMR Serverless如果运行在私有子网中，默认无法直接访问公网的Maven仓库，给你几个实用的解决方案：

方案1：配置VPC端点允许私有网络访问仓库 #

如果你的EMR Serverless部署在私有子网，可以创建以下VPC端点：

• 针对Maven Central：创建指向repo1.maven.org的HTTPS端点（需要开启私有DNS解析，确保集群能通过域名访问）
• 针对Spark Packages：创建指向repos.spark-packages.org的HTTPS端点
  这样集群就能通过私有网络访问仓库，避开防火墙拦截。

方案2：提前把依赖包上传到S3，从本地路径加载 #

1. 本地环境（能访问公网）执行以下命令，把依赖包下载到指定S3路径：

   spark-submit --packages com.datastax.spark:spark-cassandra-connector_2.12:3.2.0 --package-path s3://XXX/XXXX/cassandra-deps
   

2. 提交EMR Serverless任务时，用--package-path代替--packages：

   --package-path s3://XXX/XXXX/cassandra-deps
   

Spark会直接从S3加载预下载好的依赖，不需要访问公网。

方案3：使用自定义EMR Serverless镜像 #

把Cassandra Connector的Jar包提前打包到自定义的EMR Serverless镜像中，这样每次启动任务时不需要再手动指定依赖，适合长期稳定运行的场景。

方案4：对接公司内部Maven仓库 #

如果你们有内部的Maven镜像仓库，在提交命令中添加仓库配置：

--conf spark.jars.repositories=https://你的内部Maven仓库地址

Spark会优先从内部仓库拉取依赖，完全避开公网访问。

内容的提问来源于stack exchange，提问作者maxwellray