多列WHERE条件SQL优化：百万级CSV匹配查询性能问题求助

问题场景 #

我有一张包含Column A、Column B、Column C的数据库表，数据示例：

同时有一个约100万行的大型CSV文件，结构相同，示例数据：

需要从数据库表中提取满足(B = 'a' AND C = 'd') OR (B = 'b' AND C = 'w') OR (B = 'c' AND C = 'f')条件的行，预期结果：

但直接用该条件查询因数据量过大无法执行，以下是可行的优化方案：

具体优化方案 #

1. 临时表+JOIN替代OR条件 #

把CSV中的目标(B,C)组合导入临时表（先去重减少数据量），通过JOIN关联数据库表，避免OR带来的全表扫描：

• 步骤1：创建临时表并导入去重后的(B,C)组合

CREATE TEMP TABLE target_pairs (
    col_b VARCHAR(255),
    col_c VARCHAR(255),
    PRIMARY KEY (col_b, col_c)
);

-- 从去重后的CSV导入（以PostgreSQL为例，不同数据库语法略有差异）
COPY target_pairs(col_b, col_c) FROM '/path/to/deduplicated_pairs.csv' DELIMITER ',' CSV HEADER;

-- 若条件数量少，可直接插入
INSERT INTO target_pairs(col_b, col_c) VALUES ('a','d'), ('b','w'), ('c','f');

• 步骤2：通过JOIN查询目标数据

SELECT t.*
FROM your_database_table t
JOIN target_pairs tp ON t."Column B" = tp.col_b AND t."Column C" = tp.col_c;

2. 给数据库表创建复合索引 #

如果表上没有合适的索引，给(Column B, Column C)创建复合索引，让数据库能快速定位符合条件的行：

CREATE INDEX idx_b_c ON your_database_table("Column B", "Column C");

索引创建后，即使使用原OR条件，也能避免全表扫描，大幅提升查询速度。

3. 拆分查询+UNION ALL合并结果 #

拆分多个单条件查询，再用UNION ALL合并结果，每个子查询可单独利用索引：

SELECT * FROM your_database_table WHERE "Column B" = 'a' AND "Column C" = 'd'
UNION ALL
SELECT * FROM your_database_table WHERE "Column B" = 'b' AND "Column C" = 'w'
UNION ALL
SELECT * FROM your_database_table WHERE "Column B" = 'c' AND "Column C" = 'f';

4. 预处理CSV去重 #

先用命令行工具对CSV去重，只保留唯一的(B,C)组合，减少临时表数据量：

awk -F ',' 'NR==1; NR>1 && !seen[$2","$3]++' your_file.csv > deduplicated_pairs.csv

内容的提问来源于stack exchange，提问作者Dalisalar