PySpark连接Snowflake时抛出SnowflakeSQLException(错误码200051)异常

异常表现 #

执行PySpark的load操作读取Snowflake数据时，抛出如下栈信息：

py4j.protocol.Py4JJavaError: An error occurred while calling o117.load.
: net.snowflake.client.jdbc.SnowflakeSQLException: !200051!
    at net.snowflake.client.core.SFBaseSession.getHttpClientKey(SFBaseSession.java:321)
    at net.snowflake.client.core.SFSession.open(SFSession.java:408)
    at net.snowflake.client.jdbc.DefaultSFConnectionHandler.initialize(DefaultSFConnectionHandler.java:104)
    at net.snowflake.client.jdbc.DefaultSFConnectionHandler.initializeConnection(DefaultSFConnectionHandler.java:79)
    at net.snowflake.client.jdbc.SnowflakeConnectionV1.initConnectionWithImpl(SnowflakeConnectionV1.java:116)
    at net.snowflake.client.jdbc.SnowflakeConnectionV1.<init>(SnowflakeConnectionV1.java:96)
    at net.snowflake.client.jdbc.SnowflakeDriver.connect(SnowflakeDriver.java:172)
    at java.sql.DriverManager.getConnection(DriverManager.java:664)
    at java.sql.DriverManager.getConnection(DriverManager.java:208)
    at net.snowflake.spark.snowflake.JDBCWrapper.getConnector(SnowflakeJDBCWrapper.scala:209)

触发原因 #

错误码200051出现在JDBC驱动初始化HTTP连接客户端阶段，核心是连接配置校验不通过或环境冲突，常见场景：

• 连接参数缺失：漏传sfDatabase、sfSchema、sfWarehouse、sfRole任意必填项，或参数名拼写错误
• 账号格式错误：sfAccount参数误带了.snowflakecomputing.com域名后缀，或区域、云厂商标识拼接错误
• 版本不兼容：spark-snowflake连接器版本和Snowflake JDBC驱动版本跨度过大，参数解析逻辑不匹配
• 网络配置冲突：环境全局代理配置和JDBC驱动的网络读取逻辑冲突，导致HTTP客户端密钥生成失败
• OCSP配置异常：自定义的OCSP校验参数配置错误，导致连接初始化阶段校验中断

修复步骤 #

1. 补全并核对所有必填连接参数，不要漏项，标准配置参考：

sf_connect_options = {
    "sfURL": "你的账号标识.snowflakecomputing.com",
    "sfAccount": "纯账号标识，不带域名后缀",
    "sfUser": "登录用户名",
    "sfPassword": "登录密码",
    "sfDatabase": "目标数据库名",
    "sfSchema": "目标Schema名",
    "sfWarehouse": "使用的计算仓库名",
    "sfRole": "访问使用的角色名"
}

# 读取数据示例
source_df = spark.read.format("net.snowflake.spark.snowflake") \
    .options(**sf_connect_options) \
    .option("dbtable", "目标表名") \
    .load()

2. 对齐连接器和JDBC驱动版本，避免版本不兼容：
   • Spark 3.x 系列使用spark-snowflake_2.12对应Spark 3.x的适配版本，搭配3.13.x及以上稳定版Snowflake JDBC驱动
   • 提交任务时两个依赖要同时引入，不要单独引入连接器漏传JDBC包，也不要跨大版本混用依赖
3. 有网络代理的环境，不要依赖系统全局代理配置，在Spark提交参数中显式传入代理配置：

--conf spark.driver.extraJavaOptions="-Dhttp.proxyHost=代理地址 -Dhttp.proxyPort=代理端口 -Dhttps.proxyHost=代理地址 -Dhttps.proxyPort=代理端口"
--conf spark.executor.extraJavaOptions="-Dhttp.proxyHost=代理地址 -Dhttp.proxyPort=代理端口 -Dhttps.proxyHost=代理地址 -Dhttps.proxyPort=代理端口"

4. 临时移除所有自定义的sfOCSPFailOpen类OCSP相关配置，重启任务验证是否为OCSP配置冲突导致的初始化失败。

内容的提问来源于stack exchange，提问作者Sneha Walia