如何用PySpark编程获取Glue Catalog中demo表的分区列

这里提供两种可行的实现方案，根据你的运行环境选择即可：

方案一：使用Spark Catalog（通用PySpark环境） #

直接通过Spark内置的Catalog API获取表元数据，提取分区列：

from pyspark.sql import SparkSession

# 初始化SparkSession
spark = SparkSession.builder.appName("FetchPartitionCols").getOrCreate()

# 注意：如果表不在default数据库，替换成实际的数据库名，格式为`数据库名.表名`
table = spark.catalog.getTable("default.demo")

# 提取所有分区列的名称
partition_columns = [col.name for col in table.partitionColumns]

# 按预期格式输出
print(", ".join(partition_columns))

方案二：使用AWS Glue Python API（Glue环境专用） #

如果是在AWS Glue Job中运行，也可以直接调用Glue的客户端API获取：

import boto3

# 初始化Glue客户端，替换为你的AWS区域
glue_client = boto3.client('glue', region_name='us-east-1')

# 替换为实际的数据库名称
response = glue_client.get_table(DatabaseName='your-database', Name='demo')

# 从返回结果中提取分区列名称
partition_columns = [key['Name'] for key in response['Table']['PartitionKeys']]

# 输出结果
print(", ".join(partition_columns))

注意事项 #

• 方案一适用于所有PySpark环境（包括Glue Job、EMR、本地Spark等），无需额外配置AWS权限；
• 方案二需要确保运行环境有glue:GetTable的权限，且正确配置AWS凭证；
• 如果表不在默认数据库default下，记得替换代码中的数据库名称。

内容的提问来源于stack exchange，提问作者user21620416