PostgreSQL COPY命令如何获取首尾行并实现分批插入位置追踪

PostgreSQL 原生COPY命令不支持直接指定导入起始行位置，执行完成后也不会直接返回本次导入涉及的首尾行信息，其原生设计为全量读取指定输入源（本地文件/STDIN流）完成批量写入，没有内置断点位置记录、导入范围指定的相关参数，和SQL Server BULK INSERT自带FIRSTROW/LASTROW参数的实现逻辑有区别。

分批导入+断点续插实现方案 #

你当前使用的timescaledb-parallel-copy工具仅支持通过-limit参数限制单次导入总行数，没有内置跳过前N行的参数，无法直接实现断点续插，可以通过以下两种无侵入的方案实现需求，性能损耗极低，完全满足批量插入性能对比测试的要求：

• 方案1：CSV分片+独立状态记录
  单独维护一份断点状态（存在本地配置文件、独立的数据库元数据表均可），记录上一次成功导入的最后一行行号。每次执行导入任务时，先从源CSV中截取断点位置之后、长度为单次批次大小的片段存为临时文件，再将临时文件作为输入执行导入，导入校验成功后更新断点记录即可。
  参考操作示例（假设上次已导入至第1200000行，单次批次大小为2000000行）：

  # 截取1200001行到3200000行的内容作为本次导入分片
  sed -n '1200001,3200000p' weather_big_conditions.csv > temp_import_chunk.csv
  # 执行分片导入
  timescaledb-parallel-copy --db-name test --table 'test_table' --file temp_import_chunk.csv --connection "host=localhost port=5432 user=postgres password=postgres sslmode=disable"
  # 导入成功后，更新断点记录为3200000
  

  注意：如果源CSV带表头，第一次导入时单独跳过表头行即可，后续分片不需要重复读取表头，避免字段解析报错。
• 方案2：流读取+COPY FROM STDIN
  如果通过自定义脚本执行导入，可以直接在程序端打开CSV文件，将文件指针移动到上次记录的断点位置，逐行读取直到达到单次批次上限，再通过STDIN管道将读取到的内容喂给COPY命令。过程中可以自行计数处理行数、记录首尾行内容，导入成功后直接更新文件指针位置/最后处理行号即可，不需要生成临时分片文件。

COPY命令首尾行获取方式 #

原生COPY命令执行完成后仅会返回本次成功插入的总行数，不会返回导入涉及的首尾行具体内容。如果需要获取对应信息，可以在导入前直接从待导入的分片/流中读取首尾行自行记录；也可以给目标表增加自增主键或导入时间戳字段，每批导入完成后通过查询本次批次对应的最小、最大主键值关联获取首尾行记录。

内容的提问来源于stack exchange，提问作者Casian Boska