Azure Databricks跨Schema搜索列名/列值问题求助

你的代码调用spark.table(row.tableName)时仅传入表名，Spark会默认在当前会话的默认数据库中查找，而非你指定的DB1库，因此导致找不到对应表的报错。

需求1：跨Schema搜索匹配指定名称的列 #

修正代码，将数据库名与表名拼接，明确指定表所属的数据库：

databaseName = "DB1"
desiredColumn = "Product_Id"
# 获取指定数据库下的所有表
tables = spark.sql(f"SHOW TABLES IN {databaseName}").collect()
tablenames = []

for row in tables:
    # 拼接完整表名：数据库名.表名
    full_table_name = f"{databaseName}.{row.tableName}"
    try:
        # 获取表的列列表
        cols = spark.table(full_table_name).columns
        if desiredColumn in cols:
            tablenames.append(full_table_name)
    except Exception as e:
        # 捕获异常（如临时视图不存在、权限不足等）
        print(f"访问表 {full_table_name} 出错: {str(e)}")

print(f"包含列 {desiredColumn} 的表: {tablenames}")

需求2：跨Schema搜索包含指定值的列 #

该操作需扫描表数据，数据量较大时建议用LIMIT 1减少扫描范围，提升效率：

databaseName = "DB1"
desiredValue = "目标值"
tables = spark.sql(f"SHOW TABLES IN {databaseName}").collect()
result = []

for row in tables:
    full_table_name = f"{databaseName}.{row.tableName}"
    try:
        df = spark.table(full_table_name)
        columns = df.columns
        for col in columns:
            # 检查列中是否存在目标值，LIMIT 1避免全表扫描
            count = df.filter(f"`{col}` = '{desiredValue}'").limit(1).count()
            if count > 0:
                result.append({"表名": full_table_name, "列名": col})
                break  # 找到目标列后跳出循环，减少不必要扫描
    except Exception as e:
        print(f"处理表 {full_table_name} 出错: {str(e)}")

print(f"包含值 {desiredValue} 的表和列: {result}")

额外注意事项 #

• 确保当前用户对目标表有读取权限，避免因权限问题导致访问失败
• 针对分区表，可添加分区过滤条件进一步缩小扫描范围
• 若需搜索多个数据库，可循环遍历数据库列表，复用上述逻辑

内容的提问来源于stack exchange，提问作者user1211455