PostgreSQL导入原始数据：复制行（排除指定列）及拆分CSV地址为多行

问题解答 #

1. 复制行并排除指定列

PostgreSQL没有直接支持“复制行时排除指定列”的语法，但你可以通过明确列出需要保留的列来实现这个需求，这也是最安全可靠的方式（避免后续表结构变更导致意外问题）。

举个例子：假设你有一张表users，想要复制id=100的行，但排除列password和last_login，可以这样写：

INSERT INTO users (first_name, last_name, email, phone)
SELECT first_name, last_name, email, phone
FROM users
WHERE id = 100;

如果你的表列非常多，不想手动列出所有列，可以借助PostgreSQL的系统表information_schema.columns来自动生成列名列表，但我还是建议手动明确列名——毕竟依赖系统表生成的语句，在表结构变化后容易出错。

2. 导入CSV时拆分地址为两行

针对你的CSV数据（每条记录包含两组地址），完全可以在导入阶段完成拆分，不需要事后关联表。最直观的方法是先导入到临时表，再通过UNION ALL将数据拆分插入正式表，具体步骤如下：

步骤1：创建临时表匹配CSV结构

先建一个和CSV列对应的临时表，用来暂存原始数据：

CREATE TEMP TABLE temp_person_data (
    first_name text,
    last_name text,
    id_number text,
    addr1_street text,
    addr1_apt text,
    addr1_city text,
    addr1_state text,
    addr1_zip text,
    addr2_street text,
    addr2_city text,
    addr2_state text,
    addr2_zip text
    -- 别忘了加上CSV里的其他所需列
);

步骤2：导入CSV到临时表

用COPY命令把CSV数据导入临时表（如果你的CSV有表头，记得加上HEADER参数）：

COPY temp_person_data FROM '/path/to/your/raw_data.csv' WITH (FORMAT csv, HEADER);

步骤3：拆分数据插入正式表

假设你的正式表结构是存储单条个人信息+单个地址，先创建正式表：

CREATE TABLE person_addresses (
    id serial PRIMARY KEY,
    first_name text,
    last_name text,
    id_number text,
    street text,
    apt text,
    city text,
    state text,
    zip text
    -- 其他所需列
);

然后用UNION ALL把临时表中的两组地址拆分成两行插入：

INSERT INTO person_addresses (first_name, last_name, id_number, street, apt, city, state, zip)
-- 插入第一组地址
SELECT first_name, last_name, id_number, addr1_street, addr1_apt, addr1_city, addr1_state, addr1_zip
FROM temp_person_data
-- 插入第二组地址，注意如果第二组没有apt字段，填NULL
UNION ALL
SELECT first_name, last_name, id_number, addr2_street, NULL, addr2_city, addr2_state, addr2_zip
FROM temp_person_data
-- 可选：过滤掉第二组地址为空的记录
WHERE addr2_street IS NOT NULL;

这种方法的好处是逻辑清晰，容易调试和维护。如果你不想用临时表，也可以借助pg_read_file和字符串函数直接处理CSV内容，但复杂度会高很多，临时表的方案更适合大多数场景。

另外你提到的array_agg其实是用来聚合行到数组的，这里我们反其道而行之，是把一行拆成两行，UNION ALL是更直接的选择。

内容的提问来源于stack exchange，提问作者datadumn