如何在DataBricks的read_sql_query中使用全局临时视图关联表？

你遇到的核心问题是混淆了Spark端临时视图与数据库端对象的作用范围：

• 当使用ps.read_sql_query或Spark JDBC的query参数时，SQL语句是直接发送到目标数据库（比如SQL Server）执行的，而global_temp.temp_name是Spark集群内的临时视图，数据库服务器完全无法识别这个对象，因此会报“无效对象名”错误。

以下两种方案可以实现需求，优先推荐方案1，更贴近SAS的临时表关联逻辑：

方案1：将Spark临时视图写入数据库临时表后关联（小数据量首选） #

这种方式和SAS中用临时表关联的逻辑完全一致，SQL语句可以直接沿用原有风格：

import pyspark.pandas as ps

# 1. 创建Spark全局临时视图
df = ps.DataFrame(data={some_data})
spark_df = df.to_spark()
spark_df.createGlobalTempView('temp_name')

# 2. 将Spark临时视图的数据写入数据库临时表（以SQL Server为例，临时表以#开头）
spark_df.write \
    .format("jdbc") \
    .option("url", con) \
    .option("dbtable", "#temp_name_db") \
    .mode("overwrite") \
    .save()

# 3. 用数据库临时表执行关联查询，SQL写法和原有习惯完全一致
df_query = ps.read_sql_query(
    sql='''SELECT COLUMN_1, COLUMN_2 FROM DB.TABLE AS A
           LEFT JOIN #temp_name_db AS B on A.COLUMN = B.COLUMN''',
    con=con
)

说明：数据库临时表仅在当前连接会话有效，关闭连接后自动清理，和SAS临时表的生命周期逻辑一致。

方案2：用Spark SQL直接关联（大数据量首选） #

如果数据量较大，不想把Spark数据写入数据库，可以在Spark端完成关联，SQL写法也接近标准SQL：

import pyspark.pandas as ps

# 1. 创建Spark全局临时视图
df = ps.DataFrame(data={some_data})
df.to_spark().createGlobalTempView('temp_name')

# 2. 将数据库表注册为Spark临时视图
spark.read \
    .format("jdbc") \
    .option("url", con) \
    .option("dbtable", "DB.TABLE") \
    .load() \
    .createOrReplaceTempView('db_table')

# 3. 用Spark SQL执行关联，语法和标准SQL一致
result_spark_df = spark.sql('''
    SELECT COLUMN_1, COLUMN_2 FROM db_table AS A
    LEFT JOIN global_temp.temp_name AS B on A.COLUMN = B.COLUMN
''')

# 4. 转换为pyspark.pandas DataFrame（如果需要）
df_query = result_spark_df.to_pandas_on_spark()

说明：所有关联逻辑在Spark端执行，无需将Spark数据写入数据库，适合大数据场景。

• 永远不要尝试让数据库直接访问Spark端的临时视图/表，两者属于不同的计算环境，无法直接互通；
• 若要完全贴合SAS的SQL使用习惯，优先选择方案1，仅需调整临时表的命名规则即可复用原有SQL语句。

内容的提问来源于stack exchange，提问作者Gabriel Otavio Canieto Costa