AWS EMR集群模式下使用bundle.zip连接Astra Cassandra失败求助

• 直接配置S3路径报错：Datastax Spark Cassandra连接器默认不支持通过Hadoop FileSystem接口解析s3://协议路径，仅支持本地文件路径、HTTP/HTTPS类型的URL，因此直接传入S3路径无法被连接器识别。
• spark.files配置在cluster模式失效：YARN cluster模式下spark.files分发的文件会存放在Driver、Executor容器的当前工作目录，但连接器默认查找文件时不会优先扫描工作目录，因此无法定位到分发的bundle文件。

方案1：补充类路径配置（无需修改集群节点） #

在原有spark-submit参数基础上，新增Driver和Executor的类路径配置，将容器当前工作目录加入类路径，连接器即可直接找到通过spark.files分发的bundle文件，完整参数如下：

--master yarn
--deploy-mode cluster
--class com.proj.prog
--packages com.datastax.spark:spark-cassandra-connector_2.12:3.1.0,org.apache.hadoop:hadoop-aws:3.1.2
--conf spark.files=s3://.../connect/secure-connect-proj.zip
--conf spark.driver.extraClassPath=.
--conf spark.executor.extraClassPath=.
--conf spark.cassandra.connection.config.cloud.path=secure-connect-proj.zip

方案2：预上传bundle到所有节点本地路径 #

适合集群固定的场景，提前将secure-connect-proj.zip上传到所有EMR节点（包括核心节点、任务节点）的相同本地路径，比如/opt/cassandra/secure-connect-proj.zip，然后直接配置连接器参数即可：

--conf spark.cassandra.connection.config.cloud.path=/opt/cassandra/secure-connect-proj.zip

方案3：使用HTTP可访问路径存储bundle #

将安全bundle上传到支持HTTP/HTTPS访问的存储位置，直接将访问URL配置为连接器参数即可。

内容的提问来源于stack exchange，提问作者Rajendra Singh