如何在Hive仓库Parquet目录中检索含prodcolor的列名（PySpark实现）

开启Spark的Hive支持后可直接读取Hive元数据，不需要建立JDBC连接，也不需要读取实际的Parquet文件，执行效率极高。

from pyspark.sql import SparkSession

# 初始化SparkSession，开启Hive支持
spark = SparkSession.builder \
    .appName("CheckProdColorColumn") \
    .enableHiveSupport() \
    .getOrCreate()

match_tables = []
# 遍历所有Hive库
databases = [db.databaseName for db in spark.sql("show databases").collect()]
for db in databases:
    spark.sql(f"use {db}")
    # 遍历当前库下所有表
    tables = [t.tableName for t in spark.sql("show tables").collect()]
    for table in tables:
        # 获取表的所有列名
        cols = [c.col_name for c in spark.sql(f"desc {table}").collect()]
        # 匹配列名包含prodcolor的表，需要大小写不敏感可改为"prodcolor" in col.lower()
        if any("prodcolor" in col for col in cols):
            match_tables.append(f"{db}.{table}")

# 输出结果
print("包含prodcolor相关列的表：")
for t in match_tables:
    print(t)

spark.stop()

如果没有Hive元数据访问权限，可以直接遍历HDFS仓库路径，识别Parquet文件目录后读取Schema判断。依赖Spark自带的Hadoop API，无需引入额外第三方库。

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("CheckProdColorColumnFromParquet") \
    .getOrCreate()

# Hive仓库根路径
WAREHOUSE_PATH = "hdfs://user/hive/warehouse/"
match_paths = []

# 获取HDFS文件系统实例
hadoop_conf = spark._jsc.hadoopConfiguration()
fs = spark._jvm.org.apache.hadoop.fs.FileSystem.get(hadoop_conf)
root_path = spark._jvm.org.apache.hadoop.fs.Path(WAREHOUSE_PATH)

def traverse(path):
    status = fs.listStatus(path)
    has_parquet = False
    sub_dirs = []
    for s in status:
        if s.isDirectory():
            sub_dirs.append(s.getPath())
        else:
            if s.getPath().getName().endswith(".parquet"):
                has_parquet = True
    # 当前目录存在Parquet文件，直接读取Schema判断
    if has_parquet:
        try:
            df = spark.read.parquet(path.toString())
            if any("prodcolor" in col for col in df.columns):
                match_paths.append(path.toString())
        except Exception as e:
            # 跳过权限不足、文件损坏等无法读取的目录
            print(f"跳过异常目录{path.toString()}: {str(e)}")
        # 表目录下的子目录一般为分区目录，无需重复遍历
        return
    # 无Parquet文件继续遍历子目录
    for d in sub_dirs:
        traverse(d)

traverse(root_path)

# 输出结果
print("包含prodcolor相关列的Parquet目录：")
for p in match_paths:
    print(p)

fs.close()
spark.stop()

内容的提问来源于stack exchange，提问作者user3735871