将CSV数据导入PostgreSQL时能否预先过滤数据？

不用非要全量导入后再删除行，有几种更高效的方式可以在导入阶段就过滤数据：

1. 临时表中转+过滤插入（推荐复杂逻辑） #

先把CSV导入临时表，再通过SQL筛选符合条件的数据插入正式表：

• 创建与CSV结构匹配的临时表：

CREATE TEMP TABLE temp_csv (
    id INT,
    username TEXT,
    signup_date DATE,
    status TEXT
);

• 导入CSV到临时表（根据文件位置选服务器端COPY或客户端\copy）：

-- 服务器端：需PostgreSQL服务有权限访问文件
COPY temp_csv FROM '/data/large_data.csv' WITH (FORMAT csv, HEADER);

-- 客户端：适合本地文件，无需服务器权限
\copy temp_csv FROM '/home/user/large_data.csv' WITH (FORMAT csv, HEADER);

• 过滤插入正式表：

INSERT INTO user_data (id, username, signup_date)
SELECT id, username, signup_date
FROM temp_csv
WHERE status = 'active' AND signup_date >= '2023-01-01';

临时表会在会话结束后自动销毁，无需手动清理。

2. 导入前用Shell工具预处理（适合简单过滤） #

如果过滤规则简单（比如按某列值筛选），可以先用awk、grep等工具直接处理CSV，再导入过滤后的文件：

# 保留表头+第4列值为active的行
head -n 1 /data/large_data.csv > filtered.csv
awk -F ',' '$4 == "active"' /data/large_data.csv >> filtered.csv

之后用\copy导入过滤后的文件即可：

\copy user_data FROM '/data/filtered.csv' WITH (FORMAT csv, HEADER);

3. 直接通过COPY FROM PROGRAM导入过滤流（PostgreSQL 12+） #

PostgreSQL 12及以上版本支持直接调用外部命令处理数据流，无需生成中间文件：

COPY user_data FROM PROGRAM 'awk -F "," ''$4 == "active"'' /data/large_data.csv' WITH (FORMAT csv, HEADER);

这种方式适合超大型文件，能节省磁盘空间和处理时间。

如果实在不想折腾，全量导入后再删除行也可以，但这种方式会占用大量临时存储，删除操作还会产生大量事务日志，对于大型文件来说效率很低，不推荐。

内容的提问来源于stack exchange，提问作者YKY