EMR 6.9中Delta Lake插入数据遇Schema不匹配错误求助

核心原因 #

Spark SQL的VALUES子句生成的临时数据集默认字段名为col1、col2、col3，即使你在INSERT INTO中指定了表的字段，Delta Lake校验Schema时会对比字段名，导致与表的id、creation_date、last_update_time字段名不匹配，触发错误。

解决方案 #

方案1：开启会话级Schema自动合并 #

在执行插入操作前，先设置会话配置，允许Delta自动匹配Schema：

# 先设置会话配置
spark.sql("SET spark.databricks.delta.schema.autoMerge.enabled=true")

# 再执行插入语句
query = """
INSERT INTO <<table_name>> (id,creation_date,last_update_time) VALUES ("100", "2015-01-01", "2015-01-01T13:51:39.340396Z")
"""
spark.sql(query)

此配置会让Delta忽略字段名差异，仅按字段顺序和数据类型匹配。

方案2：用SELECT语句替代VALUES子句（推荐） #

通过SELECT显式指定字段名，让数据Schema与表Schema完全对齐，从根源避免问题：

query = """
INSERT INTO <<table_name>> (id, creation_date, last_update_time)
SELECT "100" AS id, "2015-01-01" AS creation_date, "2015-01-01T13:51:39.340396Z" AS last_update_time
"""
spark.sql(query)

这种方式无需额外配置，更符合Schema规范。

方案3：建表时开启表级Schema自动合并 #

如果该表后续频繁需要此类操作，可在创建表时直接开启自动合并属性：

query = """
CREATE TABLE <<table_name>>(
    id string,
    creation_date string, 
    last_update_time string)
    USING delta 
    LOCATION "s3://my/s3/table/location/"
    TBLPROPERTIES ('delta.schema.autoMerge.enabled' = 'true');
"""
spark.sql(query)

之后该表的所有写入操作都会自动处理Schema匹配，无需每次设置会话配置。

内容的提问来源于stack exchange，提问作者Ed Baker