从GCP Dataproc连接Azure Cosmos DB报错，求解决及更优读取方案

一、当前错误的解决方法 #

报错核心原因是Cosmos DB启用PrivateLink后，不支持Direct模式的HTTPS协议，必须切换为Direct模式的TCP协议。针对你当前使用的旧版连接器，可通过修改配置参数解决：

1. 在readConfig中添加两个关键参数，指定连接模式为Direct并使用TCP协议：

val readConfig = Config(Map(
  "Endpoint" -> "xxxxx-cosmosdb.documents.azure.com", // 去掉https://和端口443
  "Masterkey" -> "xxxxxx",
  "Database" -> "dev-docdb-poc",
  "Collection" -> "staging",
  "SamplingRatio" -> "1.0",
  "query_custom" -> "SELECT * from c",
  "ConnectionMode" -> "Direct", // 指定Direct模式
  "Protocol" -> "Tcp" // 切换为TCP协议
))

2. 确保GCP Dataproc集群的网络策略允许访问Cosmos DB的TCP端口（默认是10250-10254区间），PrivateLink环境下需打通这些端口的通信。

二、更优的连接方案 #

你当前使用的azure-cosmosdb-spark是已停止维护的旧版连接器，推荐使用Azure Cosmos DB Spark 3 Connector，它支持Spark 3.x版本，性能更优，对PrivateLink等场景的支持更完善，且持续更新维护。

具体步骤： #

1. 启动spark-shell时使用新版连接器包（根据你的Spark版本选择对应包，示例为Spark 3.2+、Scala 2.12）：

spark-shell --master yarn --packages "com.azure.cosmos.spark:azure-cosmos-spark_3-2_2-12:4.2.0"

2. 使用新版配置语法读取数据：

import com.azure.cosmos.spark._

val readConfig = Map(
  "spark.cosmos.accountEndpoint" -> "https://xxxxx-cosmosdb.documents.azure.com:443/",
  "spark.cosmos.accountKey" -> "xxxxxx",
  "spark.cosmos.database" -> "dev-docdb-poc",
  "spark.cosmos.container" -> "staging",
  "spark.cosmos.read.inferSchema.enabled" -> "true",
  "spark.cosmos.connection.mode" -> "Direct", // 支持PrivateLink的Direct模式
  "spark.cosmos.connection.protocol" -> "Tcp" // 强制使用TCP协议
)

spark.read.format("cosmos.oltp")
  .options(readConfig)
  .load()
  .show()

新版连接器的优势： #

• 支持Spark 3.x的所有特性（如自适应执行、分区优化）
• 更高效的批量读写性能
• 完善的PrivateLink、VNet集成支持
• 持续的官方维护与功能更新

内容的提问来源于stack exchange，提问作者praneethh