如何在将Parquet文件导入AWS Redshift时忽略部分列？

要实现导入Parquet文件时跳过敏感列，Redshift提供了两种直接高效的方案，根据你的场景选择即可：

方案1：使用COPY命令显式指定目标列 #

Redshift的COPY命令支持在语法中明确指定要导入的目标表列，此时Redshift只会读取Parquet文件中与这些列名匹配的字段，自动忽略其他列（包括敏感列）。这种方法最直接，且利用Parquet的列式存储特性，只读取需要的列，性能最优。

示例SQL：

-- 假设目标表为target_table，包含col1、col2两个列
COPY target_table (col1, col2)
FROM 's3://your-bucket/path/to/parquet-files/'
IAM_ROLE 'arn:aws:iam::123456789012:role/your-redshift-access-role'
FORMAT AS PARQUET;

注意：确保目标表的列名与Parquet文件中对应列的名称完全一致（大小写敏感，取决于Parquet的元数据定义）。

方案2：通过外部表筛选列后导入 #

如果Parquet文件的列数量较多，不想逐个列名写入COPY命令，可以先创建Redshift Spectrum外部表指向Parquet文件，再通过INSERT...SELECT语句只选择需要的列导入到目标表。

步骤1：创建外部表 #

-- 先确保已创建外部schema（如果未创建）
CREATE EXTERNAL SCHEMA spectrum
FROM DATA CATALOG
DATABASE 'your-glue-db'
IAM_ROLE 'arn:aws:iam::123456789012:role/your-redshift-role'
CREATE EXTERNAL DATABASE IF NOT EXISTS;

-- 创建指向Parquet文件的外部表
CREATE EXTERNAL TABLE spectrum.parquet_source (
    col1 INT,
    col2 VARCHAR(100),
    sensitive_col1 VARCHAR(50), -- 敏感列，仅在外部表定义，不导入
    sensitive_col2 DATE         -- 敏感列
)
STORED AS PARQUET
LOCATION 's3://your-bucket/path/to/parquet-files/';

步骤2：导入指定列到目标表 #

INSERT INTO target_table (col1, col2)
SELECT col1, col2 FROM spectrum.parquet_source;

这种方式适合需要对数据进行预处理（比如过滤行）再导入的场景，同时能清晰隔离敏感列的访问。

关键注意事项 #

• 确保Redshift使用的IAM角色拥有访问S3存储桶的权限（s3:GetObject等），如果使用Spectrum，还需要访问Glue Data Catalog的权限。
• Parquet文件的列名大小写需要与Redshift表的列名匹配，若存在大小写差异，可以在COPY或外部表定义中通过列映射调整。

内容的提问来源于stack exchange，提问作者Rinze