如何在PostgreSQL中并行COPY到TimescaleDB超表且不触发表锁？

问题根因 #

你遇到的并行COPY锁冲突核心来自两个配置问题：

1. 创建超表时symbol_id维度的空间分区数设为1，等同于未开启空间分区，所有写入都会落到同一份分区资源上，多个COPY进程写入时会争抢chunk级锁
2. 若多个COPY进程导入的数据落在同一个时间区间的chunk上，也会触发锁冲突

解决方案 #

• 调整超表空间分区配置
  根据symbol_id的基数将空间分区数调整为4~16（不要超过CPU核心数的2倍，你当前环境最大不要超过8），修改后的建表语句参考：

SELECT create_hypertable('mytable', 'q_time', 'symbol_id', 8,
  create_default_indexes => false, 
  chunk_time_interval => '7 days'::interval);

不同symbol_id的数据会自动路由到不同空间分区对应的chunk，大幅降低锁冲突概率。

• 对导入文件做预分片
  把待导入的压缩文件按时间区间或者symbol_id区间拆分，保证每个并行的COPY进程导入的数据不会落在同一个chunk上：
  比如按时间拆分时每个文件仅存一周的数据，和你的chunk_time_interval对齐；按symbol_id拆分时每个文件仅存固定范围的symbol_id数据，和空间分区规则对齐。

• 使用TimescaleDB官方并行导入工具
  直接用timescaledb-parallel-copy工具替代自行实现的多进程\copy逻辑，工具会自动处理分片、写入路由、冲突规避，无需手动拆分文件，示例命令：

timescaledb-parallel-copy --db-name db --username user --table mytable \
  --file file01.gz --copy-options "HEADER DELIMITER ';' CSV" --workers 8

该工具默认支持gzip压缩文件读取，不需要额外手动加gunzip管道，并行写入性能比原生\copy高3~5倍。

• 可选优化（针对大批量导入场景）
  导入期间可以临时调整以下参数提升写入效率，导入完成后改回原值即可：

-- 允许导入失败后重跑全量的场景可以开启，关闭事务级写入保证
SET timescaledb.enable_transactional_writes = off;
-- 关闭自动vacuum减少IO开销
SET autovacuum_enabled = off;
-- 调大维护工作内存
SET maintenance_work_mem = '2GB';

如果导入的数据存在重复的(symbol_id, q_time)记录，也会导致锁等待和写入失败，建议导入前做数据去重，或者COPY时加ON CONFLICT DO NOTHING/ON CONFLICT DO UPDATE逻辑。

内容的提问来源于stack exchange，提问作者Nick