迁移Azure Databricks特征表至GCP Databricks：如何列出所有特征表？

方案1：直接查询元数据存储（推荐） #

特征表本质是带有特定元数据标记的Delta表，可通过SQL查询元数据系统批量识别：

• Unity Catalog环境：执行以下SQL获取所有特征表：

  SELECT 
    catalog_name, 
    schema_name, 
    table_name 
  FROM system.information_schema.tables 
  WHERE table_properties['delta.feature_table'] = 'true'
  

• Hive Metastore环境：先查询所有表，再过滤带有特征表属性的条目：

  SELECT 
    databaseName, 
    tableName 
  FROM spark_catalog.information_schema.tables
  

  对每个表执行DESCRIBE EXTENDED <database>.<table>，查看输出中是否包含delta.feature_table = true的属性，以此判断是否为特征表。

方案2：使用Databricks CLI的工作区搜索命令 #

通过CLI的搜索功能直接遍历工作区中所有类型为feature_table的资源：

databricks workspace search / --type feature_table --output json

该命令会返回所有特征表的路径、名称及元数据，输出结果可直接用于后续迁移脚本的批量处理。

方案3：通过FeatureStoreClient遍历数据库+表（兼容旧版） #

虽然FeatureStoreClient没有直接列举所有特征表的API，但可以通过遍历所有数据库和表，结合get_feature_table()方法的异常捕获来识别特征表：

from databricks.feature_store import FeatureStoreClient

fs = FeatureStoreClient()
# 获取所有数据库列表
databases = spark.sql("SHOW DATABASES").select("databaseName").rdd.flatMap(lambda x: x).collect()

feature_tables = []
for db in databases:
    # 获取当前数据库下的所有表
    tables = spark.sql(f"SHOW TABLES IN {db}").select("tableName").rdd.flatMap(lambda x: x).collect()
    for table in tables:
        try:
            # 尝试获取特征表，成功则加入列表
            fs.get_feature_table(f"{db}.{table}")
            feature_tables.append(f"{db}.{table}")
        except:
            # 非特征表，跳过
            continue

print("识别到的特征表：", feature_tables)

注意事项 #

• 确保执行操作的账号拥有所有数据库和表的访问权限，否则会遗漏无权限访问的特征表；
• 若使用Unity Catalog，需确认已切换到对应的catalog环境；
• CLI方式需提前配置好Azure Databricks的CLI认证（通过databricks configure完成）。

内容的提问来源于stack exchange，提问作者manish kushwah