Databricks使用Spark读取Snowflake时出现option()意外参数sfUrl报错
问题原因
你调用的option()方法仅支持传入单个键值对参数,不支持直接解包字典批量传参,PySpark中专门用来批量传入配置参数的方法是options(),你代码里只是少写了一个字母s才触发的报错。
修正后的代码
配置字典部分无需修改,仅调整读取方法的调用即可:
df = spark.read.format('snowflake').options(**options).option('query', 'select * from mytable').load()
额外注意事项
- 不要在代码里硬编码Snowflake的账号密码等敏感信息,建议使用Databricks的Secret Scope存储敏感凭证,调用时通过
dbutils.secrets.get()读取即可,避免凭证泄露风险。 - 如果运行时提示找不到snowflake数据源,需要先确认你的Databricks集群已经安装了对应版本的Snowflake Connector for Spark依赖。
内容的提问来源于stack exchange,提问作者zesla
相关产品推荐
相关产品推荐

