Databricks指定列INSERT操作失败原因及解决方法求助

原因分析 #

你通过CREATE TABLE AS SELECT（CTAS）语句创建的foo表中，col2列被Spark自动推断为NOT NULL约束（因为源查询返回的是固定常量值）。而Delta Lake的规则是：插入操作必须覆盖所有非空（NOT NULL）且无默认值的列，跳过这类列会触发该异常。

解决方法 #

提供三种可行方案，根据你的业务需求选择：

1. 修改列允许为空

如果业务允许col2存储空值，先修改表结构将col2设为可空：

ALTER TABLE foo ALTER COLUMN col2 SET NULL;

之后执行原插入语句即可，未指定的col2会被填充为NULL：

INSERT INTO foo (col1) VALUES('col1_val');

2. 插入时显式指定所有非空列

直接在插入语句中包含col2的值，不管是固定值还是业务逻辑值：

INSERT INTO foo (col1, col2) VALUES('col1_val', 'new_bar_value');

如果需要沿用原表的默认逻辑，可以先给col2添加默认值，再用DEFAULT关键字插入：

-- 先给col2设置默认值
ALTER TABLE foo ALTER COLUMN col2 SET DEFAULT 'bar';
-- 插入时使用默认值填充col2
INSERT INTO foo (col1, col2) VALUES('col1_val', DEFAULT);

3. 初始创建表时定义约束和默认值

放弃CTAS方式，手动创建表并指定列的可空性或默认值，避免后续修改：

CREATE TABLE foo (
  col1 STRING,
  col2 STRING NOT NULL DEFAULT 'bar'
);
-- 插入初始数据
INSERT INTO foo VALUES('foo', 'bar');

之后执行指定列的插入语句就不会报错：

INSERT INTO foo (col1) VALUES('col1_val');

内容的提问来源于stack exchange，提问作者John