Spark SQL Delta表中如何更新Struct类型列的Schema？

问题场景 #

使用Spark 3.4.0操作Delta格式表，尝试为Struct类型列colb（原结构struct<name:STRING, age:int>）新增address字段，执行以下操作后报错：

测试表创建语句 #

drop table if exists temp.test_struct ;
create table if not exists temp.test_struct (
  cola int,
  colb struct<name:STRING, age:int>
)

修改列类型语句 #

ALTER TABLE temp.test_struct 
CHANGE COLUMN colb colb struct<name:STRING, age:int, address:STRING>

触发错误 #

AnalysisException: Cannot update hive_metastore.temp.test_struct field colb type: update a struct by updating its fields

详细错误信息：

Error in SQL statement: AnalysisException: Cannot update hive_metastore.temp.test_struct field colb type: update a struct by updating its fields.; line 1 pos 0;
AlterColumn resolvedfieldname(StructField(colb,MapType(StringType,StringType,true),true)), StructType(StructField(name,StringType,true),StructField(age,IntegerType,true),StructField(address,StringType,true))
+- ResolvedTable com.databricks.sql.managedcatalog.UnityCatalogV2Proxy@36a5c0b0, temp.test_struct, DeltaTableV2(org.apache.spark.sql.SparkSession@234aab1e,s3://xxx/temp/test_struct,Some(CatalogTable(
Catalog: hive_metastore
Database: temp
Table: test_struct
Owner: root
Created Time: Tue Sep 19 07:17:23 UTC 2023
Last Access: UNKNOWN
Created By: Spark 3.4.0
Type: MANAGED
Provider: delta
Table Properties: [delta.lastCommitTimestamp=1695107842000, delta.lastUpdateVersion=0, delta.minReaderVersion=1, delta.minWriterVersion=2]
Location:.....

错误原因 #

Spark 3.4.0中，Delta表不允许通过CHANGE COLUMN直接替换整个Struct类型来新增内部字段。这种操作会被判定为“替换列类型”而非“修改Struct内部字段”，违反了Delta表对Struct字段修改的语法规范——修改Struct内部字段需要针对嵌套字段进行精准操作，而非覆盖整个列的类型定义。

解决方法 #

方法1：使用ALTER TABLE ADD COLUMNS语法新增Struct内部字段 #

直接指定Struct列的嵌套字段进行添加，语法如下：

ALTER TABLE temp.test_struct
ADD COLUMNS (colb.address STRING);

这种方式会在原colb的Struct结构中新增address字段，原有数据的address值会被设为NULL，无需重写全表数据，效率更高。

方法2：通过CTAS重建表（适用于需要大规模修改Struct结构的场景） #

如果需要同时修改多个Struct内部字段，可通过创建新表并替换原表的方式：

1. 创建新表，定义更新后的结构：

CREATE TABLE temp.test_struct_new
AS SELECT
  cola,
  struct(
    colb.name,
    colb.age,
    CAST(NULL AS STRING) AS address
  ) AS colb
FROM temp.test_struct;

2. 删除原表，将新表重命名为原表名：

DROP TABLE temp.test_struct;
ALTER TABLE temp.test_struct_new RENAME TO temp.test_struct;

注意：此方法需要重写全表数据，数据量较大时需考虑性能影响。

内容的提问来源于stack exchange，提问作者user3692015