导入delta库报错pyspark.sql.utils无convert_exception属性如何解决
Delta Lake导入报错解决方案
报错原因
该报错为delta-spark与PySpark版本不兼容导致:pyspark.sql.utils.convert_exception是PySpark 3.3及以上版本才新增的接口,若你使用的delta-spark版本高于2.1.0,同时PySpark版本低于3.3,就会触发该错误。
解决方案
方案1:安装适配当前PySpark版本的delta-spark
先执行命令查看当前PySpark版本:pip show pyspark
按照对应关系安装匹配版本的delta-spark:- PySpark 3.2.x → delta-spark 2.0.x
- PySpark 3.3.x → delta-spark 2.1.x ~ 2.2.x
- PySpark 3.4.x → delta-spark 2.3.x ~ 2.4.x
- PySpark 3.5.x → delta-spark 3.0.x ~ 3.1.x
安装指定版本示例:pip install delta-spark==2.0.1
方案2:升级PySpark适配高版本delta-spark
如果你需要使用最新版delta-spark,直接升级PySpark到3.5及以上版本即可:pip install --upgrade pyspark delta-spark
操作完成后重新执行from delta import *即可正常导入。
内容的提问来源于stack exchange,提问作者raghnarock
相关产品推荐
相关产品推荐

