MySQL导入含新增及部分更新数据的数据库最佳实践问询

针对你这种需要新增部分数据、同时只更新特定范围旧数据的场景，推荐以下落地性强的操作方案：

一、先做数据预处理，精准拆分数据集 #

• 把待导入的原始数据拆成两组：新增数据组（比如2022年5月的所有记录）和待更新数据组（仅2022年1-4月需要修改数值的产品记录），直接过滤掉2021年及更早的无关数据，减少数据库的无效操作。
• 给待更新数据组加上明确的匹配标识（比如产品ID+月份），确保后续操作能精准定位到要修改的记录，避免误更新其他数据。

二、用数据库原生UPSERT类语句，一次搞定新增和更新 #

不同数据库的语法略有差异，但核心逻辑都是“存在则更新指定字段，不存在则插入”，前提是要给产品ID+月份设置唯一索引/约束，用来判断记录是否存在：

MySQL/MariaDB 示例 #

INSERT INTO product_data (product_id, month, value)
VALUES 
  ('P001', '2022-05', 150), -- 新增的5月数据
  ('P002', '2022-03', 220)  -- 需要更新的3月数据
ON DUPLICATE KEY UPDATE value = VALUES(value);
-- 只有当product_id+month冲突时，才更新value字段，其他字段不动

PostgreSQL 示例 #

INSERT INTO product_data (product_id, month, value)
VALUES 
  ('P001', '2022-05', 150),
  ('P002', '2022-03', 220)
ON CONFLICT (product_id, month) DO UPDATE 
SET value = EXCLUDED.value;
-- EXCLUDED指代插入语句中冲突的那条数据

SQL Server 示例 #

MERGE INTO product_data AS target
USING (
  SELECT 'P001' AS product_id, '2022-05' AS month, 150 AS value
  UNION ALL
  SELECT 'P002' AS product_id, '2022-03' AS month, 220 AS value
) AS source
ON target.product_id = source.product_id AND target.month = source.month
WHEN MATCHED THEN 
  UPDATE SET target.value = source.value -- 匹配到则更新指定字段
WHEN NOT MATCHED THEN
  INSERT (product_id, month, value) -- 没匹配到则插入
  VALUES (source.product_id, source.month, source.value);

三、操作前的必做保障 #

• 开事务/备份表：操作前要么开启数据库事务，要么备份目标表，一旦操作出错可以快速回滚，避免数据损坏。
• 测试环境验证：先在测试库跑一遍SQL，确认新增数据插入正常、只有目标范围的旧数据被更新、2021年及更早数据无变动。
• 控制批量大小：如果数据量很大，不要一次性导入，分批次处理，避免锁表影响业务。

四、操作后的校验步骤 #

• 统计新增记录数和更新记录数，和预处理时的预期数量对比，确保没有遗漏或多操作。
• 随机抽查更新后的记录、新增记录，以及2021年的旧数据，确认数据准确性。

内容的提问来源于stack exchange，提问作者Amy