如何通过Copy Command将S3中的Delta Table迁移至Redshift？

核心问题分析 #

你之前的两种方式失败的原因：

• 直接指定Delta表根路径：Redshift会读取所有文件（包括Delta的_delta_log元数据目录），这些非Parquet数据文件会导致解析错误。
• 指定单个分区的manifest路径但未使用MANIFEST参数：Redshift无法识别该文件为路径清单，会尝试直接解析它为Parquet文件，导致失败。

正确操作步骤 #

1. 确认Redshift表结构 #

确保目标Redshift表的字段（包括分区列）与Delta表完全一致，数据类型匹配。如果是分区表，Redshift表需用PARTITIONED BY定义分区列。

2. 使用Symlink Manifest加载整个表 #

如果你的Delta表已生成全表的Symlink Manifest（在_symlink_format_manifest根目录下的manifest文件），执行以下COPY命令：

COPY <schema>.<table>
FROM 's3://<bucket-name>/<delta_table_name>/_symlink_format_manifest/manifest'
IAM_ROLE '<iam_role>'
FORMAT AS PARQUET
MANIFEST
LOAD_PARTITION_FROM_PATH;

• MANIFEST：告诉Redshift读取的文件是包含数据文件路径的清单，而非直接的Parquet数据。
• LOAD_PARTITION_FROM_PATH：从S3路径中提取分区列的值（适配Delta表分区列不在Parquet文件内的特性）。

3. 加载单个分区（如果需要） #

如果只需要加载特定分区，指定对应分区的manifest文件路径，同样加上MANIFEST和LOAD_PARTITION_FROM_PATH参数：

COPY <schema>.<table>
FROM 's3://<bucket-name>/<delta_table_name>/_symlink_format_manifest/PARTITION1=VALUE1/PARTITION2=VALUE2/manifest'
IAM_ROLE '<iam_role>'
FORMAT AS PARQUET
MANIFEST
LOAD_PARTITION_FROM_PATH;

4. 验证数据加载 #

执行查询确认数据是否正确：

SELECT COUNT(*) FROM <schema>.<table>;
-- 或查询分区数据验证
SELECT * FROM <schema>.<table> WHERE PARTITION1='VALUE1' LIMIT 10;

额外注意事项 #

• 确保IAM角色拥有S3存储桶的s3:GetObject权限，以及Redshift集群的相关权限。
• 如果Delta表有更新/删除操作，需重新生成Symlink Manifest（执行ALTER TABLE <delta_table> SET TBLPROPERTIES ('delta.compatibility.symlinkFormatManifest.enabled' = 'true')后，再执行GENERATE symlink_format_manifest FOR TABLE <delta_table>），否则manifest会过时，导致加载错误数据。
• 如果Redshift表未定义分区，LOAD_PARTITION_FROM_PATH会自动将分区列作为表的字段填充值，无需额外处理。

内容的提问来源于stack exchange，提问作者Mohd Jaleel