Redshift插入数据至临时表报错：ERROR: Missing data for not-null field

常见原因及排查步骤 #

1. 插入普通表时遗漏非空字段 #

如果是往已存在的普通表插入数据（用INSERT INTO语句），先检查目标表结构：

• 执行DESCRIBE 你的普通表名;，查看所有带NOT NULL约束的字段。
• 对比你的SELECT语句返回的字段，确保所有非空字段都有对应的数据来源。比如目标表有id、giftcard_amount两个非空字段，但你只查询了giftcard_amount，就会导致id字段无数据触发错误。

2. 临时表存在结构冲突 #

如果用SELECT ... INTO #temp创建临时表：

• 先执行DROP TABLE IF EXISTS #temp;，删除已存在的同名临时表，避免旧表的非空约束影响新插入操作。Redshift中如果临时表已存在，SELECT INTO会尝试覆盖，但如果旧表的字段约束和新查询结果不匹配，可能触发错误。

3. 验证COALESCE逻辑是否真的覆盖了所有NULL场景 #

虽然你用了COALESCE兜底，但还是要确认查询结果是否真的没有NULL：

• 执行以下语句检查：

SELECT COUNT(*) 
FROM aw.payouts 
WHERE COALESCE(JSON_EXTRACT_PATH_TEXT(metadata, 'cardInfo', 'value', 'amount')::float, 0.0) IS NULL;

如果返回值大于0，说明存在COALESCE没处理到的NULL场景，比如JSON路径错误（键名大小写不匹配、层级错误）导致提取失败。

4. 检查JSON字段的有效性 #

如果metadata字段存在格式无效的JSON，可能导致JSON_EXTRACT_PATH_TEXT返回异常值：

• 执行以下语句排查无效JSON：

SELECT metadata 
FROM aw.payouts 
WHERE JSON_VALID(metadata) = FALSE;

无效的JSON会导致提取结果不可预期，甚至间接引发非空约束错误。

快速修复示例 #

如果是插入普通表时遗漏字段，补充所有非空字段的数据源：

INSERT INTO 你的普通表名(id, giftcard_amount)
SELECT 
  id, -- 假设aw.payouts表有id字段，作为目标表非空id字段的数据源
  COALESCE(JSON_EXTRACT_PATH_TEXT(metadata, 'cardInfo', 'value', 'amount')::float, 0.0) AS giftcard_amount
FROM aw.payouts;

如果是临时表结构冲突，先删除旧表再执行：

DROP TABLE IF EXISTS #temp;
SELECT
  COALESCE(JSON_EXTRACT_PATH_TEXT(metadata, 'cardInfo', 'value', 'amount')::float, 0.0) AS giftcard_amount
INTO #temp
FROM aw.payouts;

内容的提问来源于stack exchange，提问作者CerealBox