使用Redshift COPY命令导入S3数据时如何跳过错误记录？

Redshift的COPY命令完全支持跳过错误记录并继续导入的需求，通过配置专属的异常处理参数即可实现。以下是核心参数和使用示例：

关键异常处理参数 #

• MAXERROR：指定允许跳过的错误记录上限。当导入过程中错误记录数未超过该值时，COPY命令会继续处理后续记录；若超过则终止任务。例如设置MAXERROR 100，表示最多允许100条错误记录。
• ACCEPTINVCHARS：自动处理包含无效UTF-8字符的记录，将无效字符替换为指定的替代字符（默认是?），避免因特殊字符导致整条记录被拒绝。
• TRUNCATECOLUMNS：如果源数据字段长度超过目标表列的定义，自动截断过长部分，而非拒绝这条记录。
• IGNOREHEADER：若CSV文件包含表头行，设置该参数跳过表头，避免将表头误判为数据记录。

示例COPY命令 #

COPY your_target_table
FROM 's3://your-bucket/path/to/your/file.csv'
IAM_ROLE 'arn:aws:iam::123456789012:role/your-redshift-role'
FORMAT CSV
DELIMITER ','
IGNOREHEADER 1
MAXERROR 100
ACCEPTINVCHARS '?'
TRUNCATECOLUMNS;

查看错误详情 #

导入完成后，可通过查询Redshift系统表stl_load_errors查看具体的错误信息，包括错误类型、对应行号、错误原因等，方便后续清理源数据：

SELECT * FROM stl_load_errors WHERE query = pg_last_query_id();

内容的提问来源于stack exchange，提问作者Ashutosh kumar