如何通过PySpark StructField为表字段添加注释并在Athena生效

问题原因 #

你之前的配置方式不生效，是因为默认PySpark不会将StructField metadata中定义的description自动同步到AWS Glue数据目录（Athena的元数据存储依赖Glue），因此Athena查询时无法读取到对应的字段注释。

可用实现方案 #

方案1：写入表后执行ALTER DDL手动添加注释（最稳妥，100%兼容Athena） #

这种方式直接通过Hive DDL修改元数据，注释会直接写入Glue，Athena可直接识别：

1. 首先正常定义Schema并写入表

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, IntegerType, StringType

# 初始化SparkSession，配置使用Glue作为元数据存储
spark = SparkSession.builder \
    .appName("AddColumnComment") \
    .config("spark.hadoop.hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory") \
    .enableHiveSupport() \
    .getOrCreate()

# 原有Schema定义
Schema = StructType([
   StructField("id", IntegerType(), True, {'description': "Unique id, primary key"}),
   StructField("title", StringType(), True, {'description': "Name of the category"})
])

# 示例写入表，可替换为自己的写入逻辑
df = spark.createDataFrame([(1, "分类1"), (2, "分类2")], schema=Schema)
df.write.mode("overwrite").saveAsTable("teste.teste")

2. 执行ALTER语句为字段添加注释

# 逐个字段添加注释，数据类型要和字段实际类型保持一致
spark.sql("ALTER TABLE teste.teste CHANGE COLUMN id id INT COMMENT 'Unique id, primary key'")
spark.sql("ALTER TABLE teste.teste CHANGE COLUMN title title STRING COMMENT 'Name of the category'")

方案2：开启Spark元数据同步配置（适合批量场景） #

如果需要批量写入大量表，可以在SparkSession中添加如下配置，开启自动同步字段注释的能力：

spark = SparkSession.builder \
    .appName("AutoSyncComment") \
    .config("spark.hadoop.hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory") \
    .config("spark.sql.hive.metadata.comment.enabled", "true") \
    .config("spark.sql.legacy.createHiveTableByDefault", "true") \
    .enableHiveSupport() \
    .getOrCreate()

配置开启后，你原来在StructField metadata中写的description就会自动同步到Glue元数据中，无需额外执行ALTER语句。

验证方式 #

配置完成后，再执行你原来的Athena查询语句，就能在comment字段中看到对应的注释内容：

SELECT * FROM information_schema.columns
WHERE table_schema = 'teste'
AND table_name = 'teste'

内容的提问来源于stack exchange，提问作者Carlos Eduardo Bilar Rodrigues