AWS Glue环境下，如何无痛迁移Parquet文件适配新Schema？

背景回顾 #

基于AWS Glue 4.0做ETL处理，数据以Parquet格式存在S3，通过Glue表管理，业务侧用Athena查询。现在需要把某列数据类型从string改为array<string>，但顾虑现有Parquet文件的适配问题。

核心问题 #

Parquet是强Schema的列式存储，直接修改表Schema会导致现有数据类型与表定义不匹配，查询时会触发类型转换错误。以下是两种无痛迁移方案：

方案一：软兼容适配（无需重写现有数据） #

这种方案不用修改现有Parquet文件，通过逻辑转换兼容新旧数据，是最轻量化的方式：

1. 创建兼容视图/新表
   不要直接改动原表Schema，而是创建一个Athena视图或新Glue表，将目标列定义为array<string>，同时加入数据转换逻辑：
   • 如果原有string是用逗号、分号等分隔的多值，用split(target_col, ',')转成数组；
   • 如果原有string是单值，用array(target_col)包装成单元素数组。
     示例Athena视图语句：

   CREATE OR REPLACE VIEW target_table_compatible AS
   SELECT 
     col1,
     col2,
     -- 根据实际场景选择转换逻辑
     array(target_col) AS target_col,
     partition_col1,
     partition_col2
   FROM original_table;
   

2. 切换读写链路
   • 让业务分析师先通过这个兼容视图查询数据；
   • 修改Glue ETL任务，让新写入的数据直接以array<string>格式写入原表的S3路径。
3. 最终切换
   等所有旧分区的数据被新ETL任务覆盖（或确认旧数据不再被访问），再更新CloudFormation模板里的原表Schema为array<string>，之后即可删除临时视图/新表。

方案二：全量数据重写（彻底适配新Schema） #

如果需要让现有Parquet文件的物理Schema与表定义完全一致，可通过Glue ETL重写数据：

1. 编写Glue ETL转换脚本
   用PySpark读取原表数据，将目标列转换为array<string>，示例代码：

   from pyspark.sql import functions as F
   from awsglue.dynamicframe import DynamicFrame
   
   # 读取原表数据
   df = glueContext.create_dynamic_frame.from_catalog(database="your_db", table_name="original_table").toDF()
   
   # 转换列类型：单值转数组，多值场景可替换为split逻辑
   transformed_df = df.withColumn("target_col", F.array(F.col("target_col")))
   # 多值场景示例：transformed_df = df.withColumn("target_col", F.split(F.col("target_col"), ","))
   
   # 写入原S3路径（建议先写入临时路径验证，再替换原路径）
   glueContext.write_dynamic_frame.from_options(
       frame=DynamicFrame.fromDF(transformed_df, glueContext, "transformed_df"),
       connection_type="s3",
       connection_options={"path": "s3://your-bucket/original-table-path/", "partitionKeys": ["partition_col1", "partition_col2"]},
       format="parquet"
   )
   

2. 更新表Schema
   重写完成后，更新CloudFormation模板中StorageDescriptor对应列的类型为array<string>，重新部署完成表结构变更。

注意事项 #

• 测试先行：在测试环境用小批量数据验证方案，确认Athena查询正常、ETL任务无报错；
• 分区分批处理：如果是大表，按分区分批重写数据，降低单次任务的资源压力和失败风险；
• 数据备份：重写数据前，备份原S3路径的Parquet文件，避免意外数据丢失。

内容的提问来源于stack exchange，提问作者Andrew Parsons