PostgreSQL使用COPY命令导入CSV时如何跳过额外头尾非格式行

你可以通过PostgreSQL内置参数、外部工具预处理两种方式实现跳过无效行：

方法1：固定无效头行数时用COPY内置参数跳过 #

PostgreSQL 9.3及以上版本的COPY命令支持SKIP参数，可直接跳过文件最开头的指定行数：

-- 示例中前2行为无效头行，第3行是表头，所以SKIP 2 + 开启HEADER参数跳过表头行
COPY 目标表名 FROM '/本地路径/目标文件.csv' 
WITH (
    FORMAT csv,
    DELIMITER ';',
    HEADER true,
    SKIP 2
);

如果是在psql客户端执行、不需要服务端访问文件，可替换为\copy命令，用法完全一致。

方法2：处理尾部无效行/头行行数不固定的场景 #

COPY没有内置跳过尾部行的参数，可配合文本处理工具过滤有效内容后导入，不需要修改原文件：

Linux/macOS环境 #

用awk匹配Start和End标记提取中间有效行，直接通过管道传给导入命令：

\copy 目标表名 FROM PROGRAM 'awk ''/^Start$/,/^End$/'' /本地路径/目标文件.csv | grep -v -E ''^(Start|End)$'''
WITH (
    FORMAT csv,
    DELIMITER ';',
    HEADER true
);

如果要批量处理多个文件，写shell循环遍历所有CSV执行上述命令即可。

Windows环境 #

用PowerShell过滤有效内容后导入，示例命令：

# 提取Start和End中间的内容输出到临时文件
Get-Content 目标文件.csv | Where-Object { $_ -match '^Start$' -and $read=1 } { if ($_ -match '^End$') {$read=0} if ($read) { $_ } } | Select-Object -Skip 1 | Out-File 临时文件.csv -Encoding utf8
# 再执行COPY导入临时文件即可

跳过多余列的方法 #

导入时指定你需要的列即可自动忽略后续多余列：

COPY 目标表名(列1,列2,列3) FROM '文件路径' WITH (...参数同上...);

内容的提问来源于stack exchange，提问作者caskuda