如何通过Greenplum实现数据库间无数据丢失的数据复制？

问题根源 #

当前使用CSV格式中转时出现的数据丢失，核心原因是所选的分隔符（E'\37'）和引号符（E'\36'）虽为ASCII控制字符，但如果业务数据中恰好包含这些字符，COPY命令会错误地将其识别为字段/行边界，导致字段拆分错乱、数据丢失。大表数据量更大，碰到这类特殊字符的概率更高，问题也就更频繁。

临时优化：强化CSV格式的可靠性 #

如果暂时不想切换二进制格式，可以通过以下方式降低出错概率：

• 选择几乎不可能出现在业务数据中的单字符作为分隔符和引号符，比如ASCII的SOH（E'\x01'）和STX（E'\x02'）
• 强制所有字段用引号包裹，避免字段内的特殊字符被误解析

修改后的导出命令：

psql -d ${SRC_DB} -Atc """ COPY ( select * from ${table_name} ) TO STDOUT DELIMITER E'\x01' NULL E'' QUOTE E'\x02' FORCE_QUOTE * CSV """  > /base_dir/${SRC_TABLE_NAME}.csv

对应导入命令：

psql -d ${TRGT_DB} -Atc "\copy ${TRGT_TBL} from /base_dir/${SRC_TABLE_NAME}.csv DELIMITER E'\x01' NULL E'' QUOTE E'\x02' CSV LOG ERRORS SEGMENT REJECT LIMIT 100 PERCENT"

不过这种方式只能降低风险，无法彻底避免特殊字符冲突，大表建议直接使用二进制方案。

彻底解决方案：使用二进制COPY #

Greenplum的二进制COPY格式采用结构化二进制编码，完全不依赖字符分隔，从根源上避免了特殊字符导致的解析错误，同时复制速度也比CSV更快，适合百万级以上的大表。

1. 源库导出二进制文件 #

去掉CSV参数，添加BINARY关键字，无需指定分隔符、引号等参数：

psql -d ${SRC_DB} -Atc """ COPY ( select * from ${table_name} ) TO STDOUT BINARY """  > /base_dir/${SRC_TABLE_NAME}.bin

2. 目标库导入二进制文件 #

同样使用BINARY关键字，对应导入命令：

psql -d ${TRGT_DB} -Atc "\copy ${TRGT_TBL} from /base_dir/${SRC_TABLE_NAME}.bin BINARY LOG ERRORS SEGMENT REJECT LIMIT 100 PERCENT"

关键注意事项 #

• 源表和目标表的字段顺序、数据类型、字段数量必须完全一致，二进制格式依赖严格的schema匹配，否则会出现导入失败或数据错乱。
• 若源库和目标库可直接网络连通，建议用管道直接传输，彻底消除中间文件的IO开销和损坏风险：

psql -d ${SRC_DB} -Atc "COPY (select * from ${table_name}) TO STDOUT BINARY" | psql -d ${TRGT_DB} -Atc "\copy ${TRGT_TBL} FROM STDIN BINARY"

内容的提问来源于stack exchange，提问作者ESports