PostgreSQL导入SQL Dump：如何忽略已有数据并实现自动化？

一、跳过表结构创建，生成仅数据的转储文件 #

不用手动删除转储里的CREATE TABLE/ALTER TABLE语句，直接用pg_dump的参数生成只包含数据的转储，更高效：

pg_dump --data-only --column-inserts -d 源数据库名 -f data_only_dump.sql

• --data-only：仅导出数据，不包含表结构相关语句
• --column-inserts：生成带列名的INSERT语句（如INSERT INTO table (col1, col2) VALUES (...)），方便后续处理重复键冲突

二、处理重复键：让INSERT遇到冲突时自动跳过 #

转储默认的INSERT语句没有冲突处理逻辑，需要批量修改语句，添加ON CONFLICT DO NOTHING规则，让PostgreSQL遇到重复主键/唯一键时直接跳过该条记录。

临时操作：手动修改单条语句 #

把普通INSERT语句改成带冲突处理的形式：
原语句：

INSERT INTO users (id, name, email) VALUES (1, 'Alice', 'alice@example.com');

修改后：

INSERT INTO users (id, name, email) VALUES (1, 'Alice', 'alice@example.com') ON CONFLICT DO NOTHING;

如果是复合唯一键，可指定具体约束：

INSERT INTO orders (user_id, order_no) VALUES (1, 'ORD-001') ON CONFLICT (user_id, order_no) DO NOTHING;

自动化批量修改：用shell脚本处理转储文件 #

写个简单的sed命令，自动给所有INSERT语句加上冲突跳过逻辑：

sed -i.bak 's/INSERT INTO \(.*\) VALUES/INSERT INTO \1 VALUES ON CONFLICT DO NOTHING/' data_only_dump.sql

• -i.bak会生成原文件的备份，防止误修改

三、自动化定期导入流程 #

把整个流程封装成shell脚本，再用cron定期执行：

示例脚本（import_new_records.sh） #

#!/bin/bash

# 配置参数
SOURCE_DB="source_dev_db"
TARGET_DB="target_dev_db"
DUMP_FILE="/tmp/data_only_dump.sql"

# 生成仅数据的转储文件
pg_dump --data-only --column-inserts -d $SOURCE_DB -f $DUMP_FILE

# 批量修改INSERT语句，添加冲突跳过逻辑
sed -i.bak 's/INSERT INTO \(.*\) VALUES/INSERT INTO \1 VALUES ON CONFLICT DO NOTHING/' $DUMP_FILE

# 导入到目标数据库
psql -d $TARGET_DB -f $DUMP_FILE

# 清理临时文件
rm $DUMP_FILE $DUMP_FILE.bak

设置cron定期执行 #

1. 给脚本添加执行权限：

chmod +x import_new_records.sh

2. 编辑cron任务（比如每天凌晨2点执行）：

crontab -e

添加一行：

0 2 * * * /你的脚本路径/import_new_records.sh >> /var/log/pg_import.log 2>&1

这样每天会自动执行导入，日志会写入/var/log/pg_import.log，方便排查问题。

四、注意事项 #

• 开发环境无需保证数据一致性，ON CONFLICT DO NOTHING完全满足需求；如果需要更新已存在记录，可改成ON CONFLICT DO UPDATE SET ...，但本场景不需要
• 如果转储里出现COPY语句而非INSERT，可添加--inserts参数（pg_dump --data-only --inserts）强制生成INSERT语句，才能用sed修改；--column-inserts更稳妥，即便表列顺序变化也不会出错
• 确保执行脚本的用户拥有pg_dump和psql的操作权限，以及源库的读取权限、目标库的写入权限

内容的提问来源于stack exchange，提问作者MDickten