Spark Session中无法关联临时视图与数据库的问题排查

问题场景 #

本地测试复现AWS Glue Jobs场景时，执行以下操作后查询临时视图报错：

1. 创建并切换到MYDB数据库
2. 基于CSV数据创建带库名前缀的临时视图MYDB.TB_PULSAR_STARS
3. 执行SELECT * FROM MYDB.TB_PULSAR_STARS触发AnalysisException，提示找不到表或视图，但Spark Catalog显示该临时视图已关联MYDB数据库。

原代码 #

from pyspark.sql import SparkSession

spark=SparkSession.builder.appName("pulsar_data").getOrCreate()

df = spark.read.format('csv')\
                       .options(infer_schema=True)\
                       .options(header=True)\
                       .load('pulsar_stars.csv')

spark.sql('CREATE DATABASE IF NOT EXISTS MYDB')
spark.sql('USE MYDB')

df.createOrReplaceTempView('MYDB.TB_PULSAR_STARS')

spark.catalog.listTables()
spark.sql('SELECT * FROM MYDB.TB_PULSAR_STARS').show()

报错信息 #

*** pyspark.sql.utils.AnalysisException: Table or view not found: MYDB.TB_PULSAR_STARS; line 1 pos 14;
'Project [*]
+- 'UnresolvedRelation [MYDB, TB_PULSAR_STARS], [], false

调试结果 #

(Pdb) spark.catalog.listTables()
[Table(name='tb_pulsar_stars', database='MYDB', description=None, tableType='TEMPORARY', isTemporary=True)]

问题原因 #

createOrReplaceTempView方法接收的参数是视图名称，当传入MYDB.TB_PULSAR_STARS时，Spark会将整个字符串作为视图的完整名称（而非解析为「数据库.视图」的层级结构）。虽然当前会话已切换到MYDB库，Catalog显示临时视图关联到MYDB，但查询时MYDB.TB_PULSAR_STARS会被Spark解析为「MYDB库下的TB_PULSAR_STARS视图」，与实际带点的视图名称不匹配，导致找不到对象。

解决方案 #

方案1：切换数据库后创建不带库名的临时视图 #

切换到MYDB库后，直接创建视图名TB_PULSAR_STARS，Spark会自动将临时视图关联到当前数据库，查询时可使用MYDB.TB_PULSAR_STARS或简化为TB_PULSAR_STARS：

from pyspark.sql import SparkSession

spark=SparkSession.builder.appName("pulsar_data").getOrCreate()

df = spark.read.format('csv')\
                       .options(infer_schema=True)\
                       .options(header=True)\
                       .load('pulsar_stars.csv')

spark.sql('CREATE DATABASE IF NOT EXISTS MYDB')
spark.sql('USE MYDB')

# 直接创建视图名，无需添加库前缀
df.createOrReplaceTempView('TB_PULSAR_STARS')

# 两种查询方式均有效
spark.sql('SELECT * FROM MYDB.TB_PULSAR_STARS').show()
# spark.sql('SELECT * FROM TB_PULSAR_STARS').show()

方案2：使用Catalog API明确指定数据库创建临时视图 #

如果需要显式指定关联的数据库，可使用spark.catalog.createTempView方法直接绑定目标库：

from pyspark.sql import SparkSession

spark=SparkSession.builder.appName("pulsar_data").getOrCreate()

df = spark.read.format('csv')\
                       .options(infer_schema=True)\
                       .options(header=True)\
                       .load('pulsar_stars.csv')

spark.sql('CREATE DATABASE IF NOT EXISTS MYDB')

# 显式指定数据库创建临时视图
spark.catalog.createTempView(df, "TB_PULSAR_STARS", database="MYDB")

spark.sql('SELECT * FROM MYDB.TB_PULSAR_STARS').show()

总结 #

临时视图的命名不应包含数据库前缀，Spark会基于当前会话的默认数据库自动关联；若需显式指定关联的数据库，建议使用Catalog API创建视图，避免视图名称与库表解析规则冲突。

内容的提问来源于stack exchange，提问作者Rodrigo Ferreira