如何在AWS Databricks中批量筛选并列出所有托管表？

方法一：用系统信息架构表直接查询（最简便的SQL方式） #

Databricks内置了information_schema.tables表，里面直接记录了每张表的类型，不用再折腾DESCRIBE TABLE EXTENDED。托管表的table_type字段值为MANAGED_TABLE，外部表则是EXTERNAL_TABLE，直接筛选即可：

SELECT table_catalog, table_schema, table_name
FROM information_schema.tables
WHERE table_type = 'MANAGED_TABLE'
-- 要是只想看特定数据库，加个过滤条件
-- AND table_schema IN ('你的数据库名1', '你的数据库名2')

这个表涵盖了工作区所有数据库的表信息，查询效率高，结果直接结构化，方便导出或进一步处理。

方法二：用Spark Catalog API编程处理（适合自动化场景） #

如果需要用代码批量处理结果（比如导出到存储、做统计），可以用Spark的Catalog对象遍历所有数据库和表，直接判断表是否为托管表：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
catalog = spark.catalog

# 获取工作区所有数据库
all_databases = catalog.listDatabases()

managed_tables = []
for db in all_databases:
    # 获取当前数据库下的所有表
    db_tables = catalog.listTables(db.name)
    for table in db_tables:
        # isManaged属性直接返回是否为托管表
        if table.isManaged:
            managed_tables.append({
                "database": db.name,
                "table_name": table.name
            })

# 把结果转为DataFrame展示，也可以导出到CSV/Parquet
spark.createDataFrame(managed_tables).show(truncate=False)

为什么不用DESCRIBE TABLE EXTENDED？ #

因为它的输出是键值对形式的结果集，没法直接在SQL的WHERE子句里筛选，而上面两种方法都是结构化的查询/判断方式，完全适配批量处理数千张表的场景。

内容的提问来源于stack exchange，提问作者WarriorOfWeeks