AWS Glue处理嵌套可变Schema JSON：单表创建与Redshift集成问询

我之前刚好处理过类似的嵌套JSON+Glue Data Catalog+Redshift Spectrum的场景，给你分享两个靠谱的解决方案，完美匹配你的需求：

咱们的目标很明确：只解析JSON的第一层级字段，把Keys/NewImage/OldImage这些深层嵌套内容直接存成字符串，避免Glue Crawler生成几百张表，同时解决Redshift VARCHAR长度受限的问题。

方案1：手动创建Glue表（最推荐，一步到位） #

Glue Crawler会自动识别深层Schema变化生成多表，所以咱们直接跳过Crawler，手动定义表结构反而更高效：

1. 打开Glue控制台，进入你的数据库，点击创建表，选择S3作为数据源，指定JSON文件所在的S3路径。
2. 定义表的Schema，严格对应JSON第一层级字段：
   • Keys: STRING（深层嵌套直接存成字符串，不解析）
   • NewImage: STRING
   • OldImage: STRING
   • SequenceNumber: STRING
   • ApproximateCreationDateTime: BIGINT（如果是时间戳格式，也可以设为TIMESTAMP）
   • SizeBytes: BIGINT
   • EventName: STRING
3. 关键配置：输入格式选org.openx.data.jsonserde.JsonSerDe，然后在SerDe参数里添加：
   • serialization.format = 1
   • ignore.malformed.json = true（可选，用来兼容少量格式异常的记录）
     这个SerDe只会解析第一层级的字段，把深层嵌套的结构直接序列化成字符串，完全不会触发多表生成。
4. 保存表后，Redshift Spectrum就能直接查询这张表了。后续在Redshift里，你可以用JSON_PARSE函数把字符串转成JSON对象，再用JSON_EXTRACT_PATH_TEXT按需提取深层字段，比如：

   SELECT JSON_EXTRACT_PATH_TEXT(JSON_PARSE(NewImage), 'user_id') AS user_id
   FROM your_spectrum_table;
   

方案2：用Glue ETL合并Crawler生成的多表 #

如果已经用Crawler生成了几百张表，想合并成单表，用Spark脚本就能搞定：

1. 在Glue控制台创建新的ETL Job，选择Python Spark脚本。
2. 参考下面的脚本逻辑：读取所有JSON文件，提取第一层级字段，把嵌套内容转成字符串，最后写入到提前创建好的单表中。

   import sys
   from awsglue.transforms import *
   from awsglue.utils import getResolvedOptions
   from pyspark.context import SparkContext
   from awsglue.context import GlueContext
   from awsglue.job import Job
   
   args = getResolvedOptions(sys.argv, ['JOB_NAME'])
   sc = SparkContext()
   glueContext = GlueContext(sc)
   spark = glueContext.spark_session
   job = Job(glueContext)
   job.init(args['JOB_NAME'], args)
   
   # 直接读取S3路径下的所有JSON文件，指定只提取第一层级字段
   raw_data = glueContext.create_dynamic_frame.from_options(
       connection_type="s3",
       connection_options={"paths": ["s3://your-bucket/json-path/"]},
       format="json",
       format_options={
           "jsonPath": "$.Keys, $.NewImage, $.OldImage, $.SequenceNumber, $.ApproximateCreationDateTime, $.SizeBytes, $.EventName"
       }
   )
   
   # 把嵌套字段转成字符串格式
   def process_nested_fields(rec):
       for field in ['Keys', 'NewImage', 'OldImage']:
           if field in rec and rec[field] is not None:
               rec[field] = str(rec[field])
       return rec
   
   transformed_data = Map.apply(frame=raw_data, f=process_nested_fields)
   
   # 写入到Glue Catalog的目标单表（提前创建好对应Schema的表）
   glueContext.write_dynamic_frame.from_catalog(
       frame=transformed_data,
       database="your-glue-db",
       table_name="your-target-table"
   )
   
   job.commit()
   

3. 运行这个Job后，所有分散的记录都会合并到一张表中，完美适配Redshift Spectrum查询。

解决Redshift VARCHAR长度问题 #

原来整条记录接近VARCHAR(65535)上限，拆分后每个嵌套字段是单独的STRING类型：

• Glue的STRING类型在Redshift Spectrum中默认映射为VARCHAR(65535)，如果单个嵌套字段还是超过这个长度，可以在Glue表定义时把字段类型设为TEXT，对应Redshift的TEXT类型（最大支持16MB）；或者直接在Redshift里把字段定义为VARCHAR(16777216)。

内容的提问来源于stack exchange，提问作者ehelander