如何在AWS EMR上通过PySpark向Glue元数据添加注释

你当前使用的saveAsTable写法没有给字段指定注释属性，因此Glue元数据不会自动生成字段注释，完全可以通过代码实现预期效果，常用方案有两种：

方案1：写入表时直接同步注释（推荐） #

写入前先给DataFrame定义带注释的表结构，Spark写入时会自动将注释同步到Glue元数据，无需额外后续操作。
代码示例：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType

# 自定义带注释的表结构，字段顺序、类型要和原有DF保持一致
custom_schema = StructType([
    StructField("id", IntegerType(), nullable=False, comment="业务主键ID"),
    StructField("name", StringType(), nullable=True, comment="业务名称"),
    StructField("create_time", StringType(), nullable=True, comment="数据生成时间，格式为yyyy-MM-dd")
])

# 替换原有DataFrame的结构，附加注释属性
df = spark.createDataFrame(df.rdd, schema=custom_schema)

# 执行原有的写入逻辑即可
df.write \
        .saveAsTable(
            'db_temp.tb_temp',
            format='parquet',
            path='s3://datalake-123/table/df/',
            mode='overwrite'
        )

方案2：已建表场景下更新注释 #

如果表已经创建完成、不需要重写数据，可以直接调用Glue的OpenAPI单独更新字段注释：

import boto3

# 初始化Glue客户端，替换为你实际使用的AWS区域
glue_client = boto3.client('glue', region_name='us-east-1')

# 读取原有表的元数据
table_info = glue_client.get_table(DatabaseName='db_temp', Name='tb_temp')
table_input = table_info['Table']

# 自定义带注释的字段列表，字段顺序、类型要和原表保持一致
updated_columns = [
    {"Name": "id", "Type": "int", "Comment": "业务主键ID"},
    {"Name": "name", "Type": "string", "Comment": "业务名称"},
    {"Name": "create_time", "Type": "string", "Comment": "数据生成时间，格式为yyyy-MM-dd"}
]
table_input['StorageDescriptor']['Columns'] = updated_columns

# 删除Glue接口不允许更新的系统字段
for sys_key in ['CreateTime', 'UpdateTime', 'CreatedBy', 'IsRegisteredWithLakeFormation', 'CatalogId', 'VersionId']:
    if sys_key in table_input:
        del table_input[sys_key]

# 提交更新请求
glue_client.update_table(DatabaseName='db_temp', TableInput=table_input)

注意事项 #

• 若你使用mode='overwrite'写入，每次覆盖表都会重置Glue元数据，建议优先使用方案1在写入前定义好注释，避免后续更新被覆盖。
• 方案2操作前建议先备份原有表的元数据，避免修改出错导致表不可用。

最终实现的注释效果如下：

内容的提问来源于stack exchange，提问作者Paulo Cirino