从列数动态变化的S3文件读取指定6列至Redshift表遇报错求助

当S3文件列数会动态增加（比如当前有c1-c7，后续可能新增更多），但你只需要加载c1-c6到Redshift的test.table时，可通过以下方案解决报错：

核心方案：使用IGNOREEXTRACOLUMNS参数 #

Redshift的COPY命令提供IGNOREEXTRACOLUMNS参数，启用后会自动忽略源文件中超出目标表列数的额外列，完美适配列数动态变化的场景。

示例COPY命令 #

-- 明确指定要加载的目标列，结合IGNOREEXTRACOLUMNS忽略多余列
COPY test.table (c1, c2, c3, c4, c5, c6)
FROM 's3://your-bucket/path/to/data-files/'
IAM_ROLE 'arn:aws:iam::123456789012:role/your-redshift-access-role'
FORMAT AS CSV -- 根据你的文件格式调整，比如JSON、PARQUET等
IGNOREEXTRACOLUMNS 1; -- 1表示启用该功能，0为关闭

如果你的S3文件包含表头，可加上HEADER参数确保列映射正确：

COPY test.table (c1, c2, c3, c4, c5, c6)
FROM 's3://your-bucket/path/to/data-files/'
IAM_ROLE 'arn:aws:iam::123456789012:role/your-redshift-access-role'
FORMAT AS CSV
HEADER
IGNOREEXTRACOLUMNS 1;

确认目标表结构正确性 #

确保test.table仅包含c1-c6共6列，且列类型与源文件对应数据匹配，示例建表语句：

CREATE TABLE test.table (
    c1 VARCHAR(50),
    c2 INT,
    c3 DATE,
    c4 DECIMAL(10,2),
    c5 BOOLEAN,
    c6 VARCHAR(100)
);

补充说明 #

• 若源文件无表头，COPY会按位置匹配：指定的c1-c6对应源文件的前6列，后续新增列会被自动忽略。
• 该方案无需修改S3文件结构，后续新增任意列都不会触发「Extra columns found」错误。

内容的提问来源于stack exchange，提问作者Aadil Rafeeque