如何无需在每个Databricks Notebook导入即可引用数据表？

当然可以像SQL Server Management Studio（SSMS）那样直接引用数据表，你当前的繁琐操作是因为没有利用好Databricks的元数据管理功能（Hive Metastore或Unity Catalog）。以下是具体的优化方案：

1. 确保数据表已注册到元数据中 #

你之前通过spark.read.load读取的是DBFS路径下的原始数据文件，但这些数据并没有被注册为元数据中的"表"。要实现直接引用，需先将路径注册为正式表：

# 注册路径下的数据为元数据表，以Parquet格式为例
spark.sql("""
CREATE TABLE IF NOT EXISTS cadorsstg.Event 
USING PARQUET 
LOCATION 'dbfs:/hive_metastore/cadors_basic_event'
""")

# 如果是分区表，需同步分区信息
spark.sql("MSCK REPAIR TABLE cadorsstg.Event")

注册完成后，该表会被纳入Databricks的元数据管理，后续无需再通过spark.read.load加载。

2. 切换默认数据库简化引用 #

使用USE SCHEMA命令切换到目标数据库，之后即可直接使用表名，无需带库前缀：

# 在Python Notebook中执行
spark.sql("USE SCHEMA cadorsstg")

或者在Databricks SQL单元格中直接执行：

USE SCHEMA cadorsstg;

3. 直接在SQL中引用表（和SSMS用法一致） #

完成上述步骤后，你可以像SSMS中那样直接编写多表关联查询，完全省去加载DataFrame和创建临时视图的步骤：

SELECT O.CADORSNUMBER, O.EVENT_CD, O.EVENT_SEQ_NUM,
       E.EVENT_NAME_ENM, E.EVENT_NAME_FNM, E.EVENT_DESCRIPTION_ETXT, E.EVENT_DESCRIPTION_FTXT,
       E.EVENT_GROUP_TYPE_CD, O.DATE_CREATED_DTE, O.DATE_LAST_UPDATE_DTE
FROM Occ_Events O 
INNER JOIN Event E ON O.EVENT_CD = E.EVENT_CD
ORDER BY O.CADORSNUMBER

4. 常见问题排查 #

• USE SCHEMA未生效：先执行SHOW SCHEMAS;确认目标数据库是否存在，再执行SHOW TABLES IN cadorsstg;检查表是否已注册，同时确保你有该数据库的访问权限。
• 表结构变更后未同步：如果底层数据路径的结构发生变化，需重新执行MSCK REPAIR TABLE或ALTER TABLE命令同步元数据。

内容的提问来源于stack exchange，提问作者Heisenstein