AWS Glue ETL作业未在Data Catalog中创建库表问题求助

AWS Glue ETL作业需要自动创建不存在的数据库和表，但执行后Data Catalog中未生成对应的库和表。作业逻辑是从S3读取CSV数据，转换后写入新建或已存在的表，代码如下：

glueContext.sql(f"CREATE DATABASE IF NOT EXISTS {bronze_db}")

glueContext.sql(f"""
CREATE TABLE IF NOT EXISTS {bronze_db}.{bronze_table} (
  id int,
  vaccine string,
  doses int
)
STORED AS PARQUET
LOCATION '{dest_delta_s3}'
""")

dynamic_frame_read = glue_context.create_dynamic_frame.from_options(
    connection_type='s3',
    connection_options={'paths': [source_s3_locations], 'recurse': True},
    format='csv',
    transformation_ctx=f"{bronze_db}.{bronze_table}",
)
data_frame = dynamic_frame_read.toDF()

additional_options = {'path': args['dest_delta_s3']}

dynamic_frame_read.write.format('delta').options(**additional_options).mode(
    'append'
).saveAsTable(f"{bronze_db}.{bronze_table}")

已确认作业权限足够，求排查问题原因及解决办法。

核心问题 #

1. 格式冲突：你用Glue SQL创建了STORED AS PARQUET的表，但后续用Delta格式写入。两种格式不兼容，Spark的saveAsTable在遇到这种情况时，不会正确更新Data Catalog，甚至会因为格式不匹配导致Catalog元数据异常。
2. 元数据管理逻辑差异：Glue SQL创建的表元数据结构，和Spark Delta saveAsTable生成的元数据结构完全不同——后者会自动管理Delta表的事务日志，前者没有这个能力，最终导致Catalog无法正确识别目标表。

解决方案 #

统一用Delta格式的逻辑处理，无需提前用Glue SQL建表，Spark的saveAsTable在指定format='delta'且表不存在时，会自动在Data Catalog中创建数据库和表（仅需提前确保数据库存在）。

修正后的代码示例：

# 先确保目标数据库存在
glueContext.sql(f"CREATE DATABASE IF NOT EXISTS {bronze_db}")

# 读取S3上的CSV数据，若CSV有表头需添加withHeader参数
dynamic_frame_read = glue_context.create_dynamic_frame.from_options(
    connection_type='s3',
    connection_options={'paths': [source_s3_locations], 'recurse': True},
    format='csv',
    format_options={"withHeader": True},  # 若CSV无表头可删除此参数
    transformation_ctx=f"{bronze_db}.{bronze_table}",
)
data_frame = dynamic_frame_read.toDF()

# 直接写入Delta表，自动创建表元数据到Data Catalog
data_frame.write.format('delta') \
    .mode('append') \
    .option('path', args['dest_delta_s3']) \
    .saveAsTable(f"{bronze_db}.{bronze_table}")

补充说明 #

• 如果CSV没有表头，记得删除format_options={"withHeader": True}，或者手动指定Schema（比如通过schema参数），避免Spark自动推断Schema出错。
• 若一定要提前用DDL创建Delta表，需确保Glue版本在3.0以上，使用Delta专属的DDL语法：

  glueContext.sql(f"""
  CREATE TABLE IF NOT EXISTS {bronze_db}.{bronze_table} (
    id int,
    vaccine string,
    doses int
  )
  USING delta
  LOCATION '{dest_delta_s3}'
  """)
  

  执行完此DDL后再进行Delta写入，格式匹配后Catalog元数据会正确生成。

内容的提问来源于stack exchange，提问作者Jithesh Gopinathan