Notebook参数传递问题：调用$VarA执行查询触发AnalysisException错误

错误原因 #

通过%run传递带引号的参数后，在SQL中直接使用$VarA会导致Spark解析SQL时出现语法冲突——参数代入后表名被引号包裹，和SELECT *的语法组合触发了别名解析错误。

解决方法 #

方法1：修改参数传递方式（推荐） #

在Notebook 1中传递参数时去掉引号，让参数直接是表名字符串：

%run /Development/Tickets/silver_object_lead_cdf_latest $VarA=source_full_object_name $VarB=destination_full_object_name

然后在Notebook 2的SQL中使用${VarA}引用变量：

SELECT * FROM ${VarA}

方法2：清理参数中的引号后使用 #

如果必须保留带引号的参数传递方式，在Notebook 2中先通过Python处理参数，去除引号后设置为Spark配置变量：

# 去除参数两端的引号
cleaned_var_a = VarA.strip('"')
# 设置Spark配置变量
spark.conf.set("source_table", cleaned_var_a)

接着在SQL中引用配置变量：

SELECT * FROM ${source_table}

方法3：用Python动态生成SQL语句 #

直接在Notebook 2中用Python拼接SQL并执行，绕开SQL解析的参数问题：

# 清理引号后拼接SQL
query = f"SELECT * FROM {VarA.strip('"')}"
# 执行查询并展示结果
df = spark.sql(query)
df.display()

内容的提问来源于stack exchange，提问作者Rohit Kulkarni