使用Snowflake COPY命令加载含特殊字符的125GB文件遇阻求替代方案

方法1：调整PostgreSQL COPY命令的参数组合 #

直接修改COPY的参数，让数据库不将内容中的未闭合双引号和反斜杠视为特殊字符，无需后续编辑文件：

COPY your_target_table FROM '/path/to/your/large_file.csv'
WITH (
    FORMAT csv,
    DELIMITER '|',
    QUOTE '§',  -- 选择文件中绝对不存在的特殊字符，避免将内容里的双引号识别为字段包围符
    ESCAPE_UNENCLOSED_FIELD 'NONE',  -- 不对未闭合字段中的反斜杠、引号做转义处理
    HEADER  -- 若文件包含表头则保留，无表头则删除此参数
);

原理说明 #

• 默认情况下PostgreSQL会把双引号当作字段的包围符，导致未闭合引号触发加载错误或被转义；指定一个文件中不存在的QUOTE字符后，数据库会将所有双引号视为普通文本内容。
• ESCAPE_UNENCLOSED_FIELD 'NONE'会关闭未闭合字段的转义逻辑，反斜杠会直接作为字段内容保留，无需后续替换操作。

方法2：使用pg_bulkload工具批量加载 #

针对125GB的超大文件，pg_bulkload比原生COPY性能更高，且支持更灵活的字符处理规则：

1. 创建配置文件（比如bulkload.conf）：

INPUT = '/path/to/your/large_file.csv'
OUTPUT = your_target_table
DELIMITER = '|'
QUOTE = ''  -- 禁用字段包围引号的识别逻辑
ESCAPE = ''  -- 禁用转义字符处理
HEADER = true  -- 有表头则设为true，无则设为false

2. 执行加载命令：

pg_bulkload /path/to/bulkload.conf

优势 #

• 流处理模式无需生成中间文件，节省磁盘资源；
• 加载速度比原生COPY快2-3倍，适合超大文件场景；
• 直接跳过特殊字符的转义处理，加载后数据与原文件完全一致。

注意事项 #

• 选择QUOTE字符时，务必确认该字符在文件中不存在，否则会导致字段分割错误；
• 若使用pg_bulkload，需先通过CREATE EXTENSION pg_bulkload;安装扩展。

内容的提问来源于stack exchange，提问作者Md Aslam Khan