如何在AWS Glue中从多S3路径生成单一Schema表

方法一：调整Glue Crawler高级配置 #

你已勾选“为每个S3路径创建单一Schema”，但还需补充以下关键配置：

• 确保爬虫使用Avro分类器：在爬虫编辑页的「分类器」模块，手动添加或指定Avro分类器（避免自动分类器识别偏差）
• 开启Schema合并选项：
  1. 进入爬虫的「Schema生成选项」设置
  2. 勾选「Merge schemas」（部分区域显示为“合并来自不同源的Schema”）
  3. 将「更新数据目录中的表」选项设为「Merge new columns into the schema」
• 重新运行爬虫，此时会将三个路径下的所有字段合并到同一个2023表中，缺失字段自动填充为null

方法二：用Glue ETL Job手动构建合并表 #

若爬虫配置仍不生效，直接通过ETL Job实现更可控：

1. 在Glue控制台创建Spark脚本模式的ETL Job
2. 编写脚本读取并合并Avro数据：

   from pyspark.sql import SparkSession
   
   spark = SparkSession.builder.appName("MergeAvroSchemas").getOrCreate()
   
   # 读取三个路径的Avro文件，自动兼容不同Schema
   df_dir1 = spark.read.format("avro").load("s3://outbound/dir1/2023/")
   df_dir2 = spark.read.format("avro").load("s3://outbound/dir2/2023/")
   df_dir3 = spark.read.format("avro").load("s3://outbound/dir3/2023/")
   
   # 按列名合并DataFrame，允许缺失字段补null
   merged_df = df_dir1.unionByName(df_dir2, allowMissingColumns=True).unionByName(df_dir3, allowMissingColumns=True)
   

3. 将合并后的数据写入Glue数据目录：

   merged_df.write \
       .format("parquet") \
       .mode("overwrite") \
       .option("path", "s3://your-target-bucket/merged-2023/") \
       .saveAsTable("your-database-name.2023")
   

4. 运行Job后，数据目录会生成包含所有字段的2023表

方法三：优化S3路径结构（可选） #

若允许调整文件存储结构，可简化爬虫配置：

• 在S3创建s3://outbound/merged-2023/，将三个路径下的Avro文件复制到该目录
• 配置爬虫指向s3://outbound/merged-2023/，开启Schema合并选项，运行爬虫即可生成单一表

内容的提问来源于stack exchange，提问作者TheIndianMonk