不同表结构执行UPSERT时报列不存在错误的处理方案咨询

报错原因 #

你遇到的报错本质是源表daily_scraper和目标表usert_test的字段列表不匹配：你写的SELECT *会默认拉取源表全部字段，和INSERT指定的目标字段数量/顺序/名称对不上，UPDATE阶段硬编码的字段列表也可能包含源表不存在的字段，就会触发该引用错误。

适配字段不一致场景的可落地方案 #

• 方案1：显式指定公共字段（最稳妥，无需修改表结构）
  放弃使用SELECT *，手动指定两张表都存在的公共字段列表，UPDATE阶段也只更新这些公共字段即可，示例写法：

  INSERT INTO scratch.usert_test (col1, col2, col3, same_unique_id)
  SELECT col1, col2, col3, same_unique_id
  FROM scratch.daily_scraper
  ON CONFLICT (same_unique_id)
  DO UPDATE SET
    col1 = excluded.col1,
    col2 = excluded.col2,
    col3 = excluded.col3;
  

  如果字段数量太多手动整理麻烦，可以用系统元数据表查询批量生成公共字段列表，PostgreSQL环境下的查询示例：

  -- 查询两张表的公共字段，结果直接复制到INSERT和SELECT语句里即可
  SELECT string_agg(a.attname, ', ') 
  FROM pg_attribute a
  JOIN pg_class t ON a.attrelid = t.oid
  WHERE t.relname = 'usert_test' 
    AND a.attnum > 0 
    AND NOT a.attisdropped
    AND EXISTS (
      SELECT 1 FROM pg_attribute a2
      JOIN pg_class t2 ON a2.attrelid = t2.oid
      WHERE t2.relname = 'daily_scraper' AND a2.attname = a.attname
    );
  

• 方案2：动态拼接SQL（适合自动化调度场景）
  如果源表字段会频繁变动，可以在调度脚本（Python/Shell等）中先调用上面的元数据查询拿到公共字段，再动态拼接UPSERT语句执行，不需要每次手动修改SQL。
• 方案3：对齐表结构
  如果源表新增的字段你也需要存储，可以提前给目标表新增对应允许为空的字段，两边字段完全对齐后即可正常使用简化写法。

注意：生产环境禁止使用SELECT *作为INSERT的数据源，一旦源表字段顺序、数量变动就会直接触发业务故障，显式指定字段是SQL书写的通用最佳实践。

内容的提问来源于stack exchange，提问作者mapping dom