Databricks集群切换Python版本后因cryptography弃用警告如何解决
Databricks 5.5 LTS 切换Python3后Scala任务异常解决方案
前置场景
- 集群配置:Databricks 5.5 LTS 版本,未升级集群版本
- 历史操作:原集群默认适配Python2运行环境,切换为Python3运行环境后,安装PGPy库实现PGP文件解密能力
- 异常表现:调整环境前可正常运行的Scala Notebook任务执行失败
- 完整报错日志:
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 4 times, most recent failure: Lost task 0.3 in stage 1.0 (TID 7, 10.139.64.4, executor 2): org.apache.spark.SparkException: Process List(/databricks/python/bin/pip, install, xlrd, --disable-pip-version-check) exited with code 1. /databricks/python3/lib/python3.5/site-packages/OpenSSL/_util.py:6: CryptographyDeprecationWarning: Python 3.5 support will be dropped in the next release of cryptography. Please upgrade your Python.
核心根因
- 报错中调用的pip路径
/databricks/python/bin/pip是Databricks 5.5 LTS默认Python2环境的固定软链路径,切换Python3环境时,官方切换流程未同步修改该软链的指向,导致Spark在执行Excel数据源解析、触发自动安装缺失xlrd依赖的流程时,调用了失效的pip可执行文件,直接返回退出码1。 - 日志中打印的
CryptographyDeprecationWarning并非直接导致退出码1的原因,仅为pip流程启动后输出的兼容性提示,但后续依赖校验环节会因版本不匹配进一步放大安装流程的失败概率。
分步解决操作
- 修正pip路径软链:在集群的初始化脚本配置中新增软链修正命令
ln -sf /databricks/python3/bin/pip /databricks/python/bin/pip,保证所有节点上的默认pip路径和实际Python3环境的pip可执行文件绑定,解决Spark调用pip时的路径失效问题。 - 提前预装适配版本的xlrd:通过Databricks集群的库安装面板,为所有Executors安装PyPI包
xlrd==1.2.0。该版本是最后一个同时支持xlsx文件解析、适配Python3.5环境的xlrd版本,预装完成后,Spark执行Excel数据读取任务时不会进入自动调用pip安装依赖的逻辑,从流程上规避路径报错。 - 替换兼容版本的cryptography依赖:在Python3.5环境中执行命令
pip install cryptography==3.3.2完成版本回退,这是官方最后一个支持Python3.5的cryptography版本,可消除依赖校验环节的兼容性报错。 - 验证流程:重启集群,待所有Executors启动完成后,重新运行原Scala Notebook的报错任务,观察执行日志确认不再触发自动pip安装xlrd的流程,任务可正常执行完成。
内容的提问来源于stack exchange,提问作者jukebox
相关产品推荐
相关产品推荐

