Spark SQL中模式与表名作为变量传入查询结果不一致问题排查

先揪出你代码里的核心问题：

• Scala是大小写敏感的！你定义的变量是Variable1，但插值时用的是$variable1（小写v），这根本不是同一个变量！Spark会把variable1当成表名去查询，自然和硬编码的schema_name.table_name结果不一致。
• 如果你的schema或表名包含特殊字符（比如空格、连字符），直接插值会导致SQL语法错误，也会出现结果异常。

Scala 写法 #

1. 先修正变量名大小写，保证插值时变量一致：

val tableFullName = "schema_name.table_name"
val query1 = spark.sql(s"""SELECT * FROM $tableFullName""")

2. 若schema/表名带特殊字符，用反引号包裹标识符：

// 示例：schema名为my_schema，表名为my-table
val schemaName = "my_schema"
val tableName = "my-table"
val query1 = spark.sql(s"""SELECT * FROM `$schemaName`.`$tableName`""")

Python 写法 #

用f-string或字符串格式化都可以，同样注意特殊字符的处理：

table_full_name = "schema_name.table_name"
query1 = spark.sql(f"SELECT * FROM {table_full_name}")

// 带特殊字符的情况
schema_name = "my_schema"
table_name = "my-table"
query1 = spark.sql(f"SELECT * FROM `{schema_name}`.`{table_name}`")

把生成的SQL打印出来和硬编码的版本对比：

• Scala：println(s"""SELECT * FROM $tableFullName""")
• Python：print(f"SELECT * FROM {table_full_name}")
  只要两者完全一致，查询结果就不会有差异。

内容的提问来源于stack exchange，提问作者Radha