升级Databricks Runtime从9.1 LTS到10.4 LTS的兼容性及回退咨询

一、升级后现有笔记本和作业的潜在问题 #

升级后可能遇到以下几类兼容性问题，具体取决于你的代码和依赖：

• 语言版本差异：9.1 LTS使用Python 3.8、Scala 2.12.10，10.4 LTS升级为Python 3.9、Scala 2.12.15。部分依赖库可能对Python/Scala版本有严格要求，导致导入或运行失败。
• Spark API变更：10.4 LTS基于Spark 3.3.0，而9.1 LTS是Spark 3.1.2。Spark 3.2+中废弃或移除了部分旧API（如RDD.mapPartitionsWithContext等），如果你的代码依赖这些API会报错。
• Delta Lake版本升级：9.1 LTS绑定Delta Lake 1.0.0，10.4 LTS是Delta Lake 2.2.0。Delta 2.x引入了一些新特性（如列级权限、动态分区覆盖优化），同时部分旧的Delta操作语法可能被标记为废弃，若代码使用了这些语法会出现警告或失败。
• 内置库版本变化：Databricks Runtime内置的第三方库（如pandas、numpy）版本有更新，部分库的API行为可能发生变化，导致代码逻辑异常。

建议在升级前先在测试环境中：

• 逐行检查笔记本代码，排查依赖的API和库版本是否兼容
• 运行所有作业的测试实例，验证输出结果与升级前一致
• 核对官方的版本差异说明，针对性调整代码

二、升级后的版本回退 #

可以回退至9.1 LTS，但需注意以下几点：

• 集群层面回退：直接创建使用9.1 LTS版本的新集群，将现有笔记本切换到该集群运行，作业重新指定到这个旧版本集群即可。原升级后的集群可以保留或删除，不影响回退操作。
• 数据兼容性风险：如果升级后使用了Delta Lake 2.x的新特性（如列级权限、新的优化选项），这些数据在9.1 LTS的Delta 1.0.0环境中可能无法正常读取或操作，需先确保数据未依赖新版本Delta的独有特性。
• 作业配置迁移：回退后需要重新配置作业的集群关联、参数设置等，确保与升级前的运行环境一致。

内容的提问来源于stack exchange，提问作者Farzu