如何在PostgreSQL中将单表按指定行数拆分多张表？

当然可以直接用PostgreSQL的原生操作实现，而且速度会比Python脚本快几个数量级——因为完全规避了客户端与服务器之间的数据传输、序列化/反序列化的开销，所有操作都在数据库服务器内部完成。

针对你这张**静态（写入后不再变更）**的10亿行大表，推荐以下两种高效方案：

方案一：按主键ID范围批量创建子表 #

利用CREATE TABLE ... AS SELECT语句，结合主键id的连续性（自增主键），按固定行数n拆分出独立子表。

步骤1：计算总记录数 #

先确定表的总行数，方便计算需要拆分的子表数量：

SELECT COUNT(*) FROM collection;

步骤2：用PL/pgSQL批量生成子表 #

写一个存储过程自动循环创建所有子表，避免手动编写重复SQL：

CREATE OR REPLACE FUNCTION split_collection(n INT) RETURNS VOID AS $$
DECLARE
    total_rows BIGINT;
    table_count INT;
    current_table INT;
    start_id BIGINT;
    end_id BIGINT;
BEGIN
    -- 获取总记录数
    SELECT COUNT(*) INTO total_rows FROM collection;
    -- 计算需要创建的子表数量（向上取整）
    table_count := CEIL(total_rows::FLOAT / n);

    FOR current_table IN 1..table_count LOOP
        start_id := (current_table - 1) * n + 1;
        end_id := current_table * n;
        
        -- 处理最后一个子表可能不足n行的情况
        IF end_id > total_rows THEN
            end_id := total_rows;
        END IF;

        -- 创建子表
        EXECUTE format(
            'CREATE TABLE collection_%s AS SELECT * FROM collection WHERE id BETWEEN %s AND %s',
            current_table, start_id, end_id
        );

        -- 可选：给子表添加主键（静态表加主键不影响写入，若后续需快速查询可添加）
        EXECUTE format('ALTER TABLE collection_%s ADD PRIMARY KEY (id)', current_table);
    END LOOP;
END;
$$ LANGUAGE plpgsql;

步骤3：执行拆分 #

调用存储过程，传入你需要的单表行数n（比如单表100万行）：

SELECT split_collection(1000000);

优势 #

• 完全在数据库服务器内部操作，无客户端数据传输开销，速度极快；
• 利用主键的B树索引，WHERE id BETWEEN ...查询效率极高；
• 自动处理最后一个子表的行数不足问题。

方案二：并行化加速拆分（适合超大规模表） #

如果你的PostgreSQL版本是10+，可以开启并行查询来加速CREATE TABLE AS的执行速度：

1. 临时调整并行参数（会话级别，不影响全局）：

SET max_parallel_workers_per_gather = 4; -- 根据服务器CPU核心数调整，比如设为核心数的一半

2. 再执行方案一的存储过程即可，PostgreSQL会自动并行扫描原表并创建子表。

为什么Python脚本慢？ #

Python脚本需要先把数据从PostgreSQL拉到客户端内存，再写入新表，中间涉及：

• 网络IO（即使本地连接也有进程间通信开销）；
• 数据序列化/反序列化（从PostgreSQL二进制格式转成Python对象，再转回去）；
• 客户端内存限制（处理大批次数据时容易卡顿）。
  这些开销在10亿行数据面前会被放大到难以接受的程度，而数据库原生操作完全规避了这些问题。

注意事项 #

• 操作前务必对原表做全量备份，避免意外数据丢失；
• 拆分过程会占用大量磁盘IO和CPU资源，建议在业务低峰期执行；
• 如果不需要子表的主键，可以去掉存储过程中添加主键的步骤，进一步节省时间；
• 子表命名可以根据需求自定义（比如按uuid分段，但id主键的分段是最高效的）。

内容的提问来源于stack exchange，提问作者hermit907