Snowflake中INSERT插入记录数少于SELECT查询结果数的问题求助

我之前在项目里也碰到过类似的Snowflake插入数据量远低于SELECT结果的情况，结合我的排查经验和社区常见的坑，给你几个可以逐一验证的方向：

• 检查隐性的约束冲突与错误跳过
  虽然你提到确认没有重复数据，但可能是目标表存在主键/唯一约束，而SELECT语句生成的字段组合（前三个substring列）实际存在重复。可以先跑这条语句验证：

  SELECT substring(data_string,1,3), substring(data_string,4,3), substring(data_string,7,3), COUNT(*) 
  FROM table1 
  GROUP BY 1,2,3 
  HAVING COUNT(*) >1;
  

  另外，Snowflake的会话参数ON_ERROR如果设置为CONTINUE，插入时遇到错误行（比如约束冲突、列值无效）会静默跳过而不报错。你可以通过SHOW PARAMETERS LIKE 'ON_ERROR';查看当前设置，同时去Snowflake UI的Query History里找到这条插入语句，查看它的Profile详情，里面会统计Failed Rows的数量，帮你定位是否有行被跳过。

• 验证Substring处理后的无效数据
  如果table1里的data_string长度不足7，substring会返回NULL。如果目标表的对应列设置了NOT NULL约束，这些行在插入时会被拒绝。可以先排查这类数据：

  SELECT COUNT(*) FROM table1 WHERE LENGTH(data_string) <7;
  

• 排除目标表数据残留或克隆异常
  有时候删除操作可能因为时间旅行、分区保留等原因没有彻底清理数据，或者目标表是克隆而来的存在隐性的分区限制。可以尝试先彻底清空目标表：

  TRUNCATE TABLE target_table;
  

  之后再执行插入，看看数据量是否匹配。

• 通过临时表隔离问题
  把SELECT的结果先写入临时表，验证中间结果的行数：

  CREATE TEMP TABLE temp_insert_data AS 
  SELECT substring(data_string,1,3), substring(data_string,4,3), substring(data_string,7,3), current_timestamp, '1' 
  FROM table1;
  
  -- 查看临时表行数
  SELECT COUNT(*) FROM temp_insert_data;
  

  如果临时表的行数是690K，再执行INSERT INTO target_table SELECT * FROM temp_insert_data;，如果此时插入量还是偏少，那问题肯定出在目标表的约束或会话设置上；如果临时表行数本身就不足，那要检查table1的数据是否有过滤（比如是否有隐性的视图过滤、行访问策略等）。

• 排查行访问策略或视图限制
  有没有可能table1是一个视图，或者设置了行访问策略（Row Access Policy），导致你查询到的690K行其实是被过滤后的结果？可以用具有更高权限的用户执行同样的SELECT语句，看看行数是否一致。

内容的提问来源于stack exchange，提问作者user17725972