如何实现仅当updated字段更新时间更晚时批量更新或插入表数据？

核心思路 #

先把增量文件的数据导入临时表，再通过带条件的冲突更新语句实现：不存在则插入，存在时仅当新数据updated时间晚于现有记录才更新，否则忽略。

以MySQL为例的具体操作 #

1. 创建与目标表结构一致的临时表

CREATE TEMPORARY TABLE temp_table LIKE target_table;

2. 将增量文件数据加载到临时表
   假设你用CSV文件，可根据实际文件格式调整参数：

LOAD DATA INFILE '/path/to/your/incremental_file.csv' 
INTO TABLE temp_table 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS; -- 文件带表头时添加此行

3. 执行条件插入/更新
   利用ON DUPLICATE KEY UPDATE语法，结合IF函数判断时间条件：

INSERT INTO target_table (_id, col1, col2, updated)
SELECT _id, col1, col2, updated FROM temp_table
ON DUPLICATE KEY UPDATE
-- 逐个字段更新，仅当新数据updated更晚时替换
col1 = IF(temp_table.updated > target_table.updated, temp_table.col1, col1),
col2 = IF(temp_table.updated > target_table.updated, temp_table.col2, col2),
updated = IF(temp_table.updated > target_table.updated, temp_table.updated, updated);

如果你用PostgreSQL #

PostgreSQL用ON CONFLICT DO UPDATE语法，写法更简洁：

INSERT INTO target_table (_id, col1, col2, updated)
SELECT _id, col1, col2, updated FROM temp_table
ON CONFLICT (_id) DO UPDATE SET
col1 = EXCLUDED.col1,
col2 = EXCLUDED.col2,
updated = EXCLUDED.updated
-- 直接在WHERE子句中添加时间判断
WHERE EXCLUDED.updated > target_table.updated;

为什么你之前的方法没成功？ #

• REPLACE INTO：会直接删除旧记录插入新数据，完全不考虑updated时间，不符合需求；
• 单独UPDATE：只能处理已有记录的更新，无法自动插入新记录；
• 临时表未结合条件冲突更新：单纯导入临时表数据到目标表，要么因主键重复报错，要么直接覆盖旧数据，没实现时间判断逻辑。

内容的提问来源于stack exchange，提问作者JJBB