向含GENERATED ALWAYS列的Delta表插入字典数据报错求助

针对你遇到的问题，核心原因是Insert_ID为自动生成的IDENTITY列：既不能手动赋值，又不能让插入数据的列数与表结构不匹配。以下两种方法可以正确完成插入：

方法1：开启Spark配置后使用insertInto #

通过配置允许Spark向包含自动生成列的表插入数据，此时只需提供非IDENTITY列的数据即可：

# 配置Spark允许插入包含生成列的表
spark.conf.set("spark.sql.legacy.allowInsertIntoGeneratedColumns", "true")

# 生成DataFrame（原有逻辑不变）
dataframe = spark.createDataFrame([Row(**variable) for variable in batch_data])

# 执行插入，根据需求选择overwrite（覆盖）或append（追加）模式
dataframe.write.mode("overwrite").insertInto("table_name")

方法2：注册临时表，用SQL显式指定插入列 #

这种方式更直观，通过SQL语句明确指定要插入的列，跳过自动生成的Insert_ID，无需修改Spark配置：

# 生成DataFrame（原有逻辑不变）
dataframe = spark.createDataFrame([Row(**variable) for variable in batch_data])

# 将DataFrame注册为临时视图
dataframe.createOrReplaceTempView("temp_batch_data")

# 执行INSERT语句，明确指定插入的列（跳过Insert_ID）
spark.sql("""
    INSERT OVERWRITE TABLE table_name
    (Batch_ID, Script_Name, Script_Version, Insert_Tstp)
    SELECT Batch_ID, script_name, script_version, Insert_Tstp
    FROM temp_batch_data
""")

关键注意事项 #

• 确保DataFrame中的列名与目标表的对应列名一致（Spark默认大小写不敏感，但建议保持完全匹配）
• 若需要追加数据而非覆盖，将mode("overwrite")改为mode("append")，或在SQL中将INSERT OVERWRITE改为INSERT INTO
• GENERATED ALWAYS AS IDENTITY列的值会由Delta Lake自动生成，无需手动提供任何值

内容的提问来源于stack exchange，提问作者PracticingPython