使用COPY命令导入Parquet到Redshift时如何新增额外列？

一、提前准备：创建包含新增列的目标表 #

首先创建目标表，除了Parquet文件中原有的列，还要添加你需要的额外列（比如insert_time、file_path）：

CREATE TABLE target_table (
    -- 以下为Parquet文件中的原有列，根据实际情况调整
    id INT,
    user_name VARCHAR(100),
    -- 新增的额外列
    insert_time TIMESTAMP DEFAULT GETDATE(), -- 默认填充当前插入时间
    file_path VARCHAR(500) -- 存储源Parquet文件的S3路径
);

二、导入时新增列的具体实现 #

1. 新增数据插入时间列

有两种常见场景：

• 场景1：使用当前插入时间
  若建表时已经给insert_time设置了DEFAULT GETDATE()，COPY时无需指定该列，Redshift会自动填充当前时间：

  COPY target_table (id, user_name)
  FROM 's3://your-bucket/parquet-files/'
  IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftCopyRole'
  FORMAT AS PARQUET;
  

• 场景2：使用源文件的最后修改时间
  如果需要记录Parquet文件在S3上的最后修改时间，可使用Redshift内置的$LAST_MODIFIED_TIME变量，在COPY语句中明确映射：

  COPY target_table (id, user_name, insert_time)
  FROM 's3://your-bucket/parquet-files/'
  IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftCopyRole'
  FORMAT AS PARQUET
  COLUMNS (id, user_name, insert_time $LAST_MODIFIED_TIME);
  

2. 新增Parquet文件路径列

使用Redshift内置的$PATH变量可以获取源文件在S3上的完整路径，需在COPY语句中映射到目标表的file_path列：

COPY target_table (id, user_name, file_path)
FROM 's3://your-bucket/parquet-files/'
IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftCopyRole'
FORMAT AS PARQUET
COLUMNS (id, user_name, file_path $PATH);

3. 同时新增插入时间和文件路径列

结合上述两种方法，可一次性导入并添加两个额外列：

COPY target_table (id, user_name, insert_time, file_path)
FROM 's3://your-bucket/parquet-files/'
IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftCopyRole'
FORMAT AS PARQUET
COLUMNS (id, user_name, insert_time GETDATE(), file_path $PATH);

或者如果insert_time已设置DEFAULT，也可以简化为：

COPY target_table (id, user_name, file_path)
FROM 's3://your-bucket/parquet-files/'
IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftCopyRole'
FORMAT AS PARQUET
COLUMNS (id, user_name, file_path $PATH);

注意事项 #

• $PATH和$LAST_MODIFIED_TIME仅能在COPY语句的COLUMNS子句中使用，且需确保目标表列的类型与变量返回值匹配（比如file_path用足够长度的VARCHAR，insert_time用TIMESTAMP）。
• 如果Parquet文件的列顺序与目标表不一致，需在COLUMNS子句中严格对应列名，避免映射错误。

内容的提问来源于stack exchange，提问作者carfield