如何在Databricks的Delta Table中高效实现两列列名互换

你的现有方案需要两次全量覆写表，数据量大时IO开销极高，以下是两种更高效的实现方式，优先级从高到低：

1. 纯元数据修改（无数据重写，毫秒级完成，优先推荐） #

只要你使用Delta Lake 1.2及以上版本，且表已开启列映射（delta.columnMapping.mode = 'name'），可以直接用SQL修改表元数据，全程不需要读写任何实际数据：

-- 先将其中一列改为临时名，避免重名冲突
ALTER TABLE `你的表名` RENAME COLUMN Address TO temp_col;
-- 将第二列改为第一列的原名称
ALTER TABLE `你的表名` RENAME COLUMN Name TO Address;
-- 将临时列改为第二列的原名称
ALTER TABLE `你的表名` RENAME COLUMN temp_col TO Name;

注意：如果你的表协议版本不满足要求，执行上述命令时会自动升级表协议，升级后低于1.2版本的Delta引擎将无法读取该表，操作前请确认下游引擎版本兼容性。

2. 单次全表覆写（性能是你现有方案的2倍） #

如果你使用的Delta版本低于1.2，或者没开列映射，也不需要两次覆写表，单次操作即可完成：

spark.read.table("table") \
  .selectExpr("Name as Address", "Address as Name") \
  .write \
  .format("delta") \
  .mode("overwrite") \
  .option("overwriteSchema", "true") \
  .saveAsTable("table")

这个方案只需要一次读写全表，比你原来的两次操作减少了一半的IO开销。

内容的提问来源于stack exchange，提问作者QbS