如何在EMR实例中将DocumentDB连接到Spark应用及配置报错排查

1. 修复命令语法错误 #

原命令存在两处明显语法问题：

• 第二个配置项spark.mongodb.output.collection前缺少--conf参数声明，所有Spark自定义配置都需要单独加--conf前缀
• 引号嵌套错误，双引号内部直接使用双引号会导致shell解析异常，同时密码中的!属于shell特殊字符，未做转义处理

修正后的命令示例：

spark-shell \
--conf 'spark.mongodb.output.uri=mongodb://admin123:Vibhuti21!@docdb-2021-09-18-15-29-54.cluster-c4paykiwnh4d.us-east-1.docdb.amazonaws.com:27017/ecommerceCluster?replicaSet=rs0&readPreference=secondaryPreferred&retryWrites=false&tls=true' \
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.3

如果需要单独指定集合，在命令中新增一行配置即可：

--conf "spark.mongodb.output.collection=你的集合名称"

2. 检查版本适配性 #

你当前使用的Mongo Spark连接器org.mongodb.spark:mongo-spark-connector_2.11:2.4.3仅适配 Spark 2.4.x + Scala 2.11 的运行环境：

• 若你的EMR集群安装的是Spark 3.x版本，需要将连接器替换为对应Scala版本的适配包，比如Scala 2.12环境对应org.mongodb.spark:mongo-spark-connector_2.12:3.0.1
• EMR集群预装的组件版本可以在EMR控制台的「软件配置」页直接查看

3. 检查DocumentDB访问配置 #

你连接的是AWS托管的DocumentDB服务，还需要确认以下网络和认证配置：

• EMR集群和DocumentDB必须在同一个VPC下，跨VPC需要提前配置对等连接
• DocumentDB关联的安全组需要开放27017端口的入站规则，允许EMR集群的安全组访问
• DocumentDB默认开启TLS认证，需要提前将AWS官方的DocumentDB证书下载到所有EMR节点，启动命令中新增JVM参数指定证书路径：

--conf "spark.driver.extraJavaOptions=-Djavax.net.ssl.trustStore=/你存放证书的路径/rds-truststore.jks -Djavax.net.ssl.trustStorePassword=changeit" \
--conf "spark.executor.extraJavaOptions=-Djavax.net.ssl.trustStore=/你存放证书的路径/rds-truststore.jks -Djavax.net.ssl.trustStorePassword=changeit"

内容的提问来源于stack exchange，提问作者Siddhartha Das