Ubuntu 20.04.3 Databricks集群安装gdal-bin依赖libmysqlclient21报错
问题根因
该404报错本质是Ubuntu官方源移除了下线的旧版本libmysqlclient21包,而Databricks集群启动时默认加载的apt包索引是提前预制的旧缓存,指向已经失效的8.0.26版本,导致依赖解析失败。缓存没有随上游源更新是问题隔日复现的核心原因。
无版本硬编码的永久解决方案(优先推荐)
该方案不需要手动指定任何包版本,每次集群启动都会自动匹配当前源可用的最新依赖,后续上游包版本迭代也不会触发同类故障:
- 安装前先彻底清除旧apt缓存并刷新索引:
%sh sudo apt-get clean all sudo rm -rf /var/lib/apt/lists/* sudo apt-get update -y --fix-missing
- 之后直接安装gdal-bin即可:
%sh sudo apt-get install -y gdal-bin
备选:指定版本的稳定安装方案
如果需要严格控制包版本避免兼容性波动,可以指定安装Ubuntu 20.04 base源内的长期留存版本,该版本不会被定期下线:
%sh sudo apt-get install -y libmysqlclient21=8.0.19-0ubuntu5 gdal-bin
额外优化建议
如果不需要每次运行笔记本都手动执行安装操作,可以把上述安装命令配置到Databricks集群的初始化脚本中,集群启动时自动完成预安装,无需笔记本侧重复执行。
内容的提问来源于stack exchange,提问作者Rhys Lohf
相关产品推荐
相关产品推荐

