如何将Databricks多值Widget传入SQL查询的IN子句

我完全懂你现在的困境！Databricks里把多值Widget的内容传入SQL的IN子句确实容易卡在参数和变量的语法循环里，核心问题是Python列表的格式和SQL IN子句要求的格式不匹配，而且Databricks对Widget参数和Python变量的解析规则不一样，咱们一步步解决：

问题根源 #

你现在拿到的input_list是Python的列表对象（比如['code1','code2']），但SQL的IN子句需要的是类似('code1','code2')的字符串格式。直接用$(input_list)的话，Databricks会把它当成未定义的Widget参数；而如果直接把Python变量硬塞到SQL里，又会因为格式不对报错。

解决方案一：格式化Python列表为SQL兼容字符串（快速易用） #

把Python列表转换成SQL能识别的IN子句格式，再通过字符串拼接传入查询——适合内部使用（如果是外部用户输入，要注意SQL注入风险）：

# 创建Widget并获取输入
dbutils.widgets.text("codes_to_search", "", "Enter values separated by comma")
input_values = dbutils.widgets.get("codes_to_search")
input_list = input_values.split(",")

# 格式化列表：给每个元素加单引号，去掉空值和多余空格
formatted_codes = ",".join([f"'{code.strip()}'" for code in input_list if code.strip()])

# 拼接SQL查询并执行
query = f"""
SELECT * FROM your_target_table
WHERE concept_name IN ({formatted_codes})
"""

result_df = spark.sql(query)
result_df.display()

这里的关键是用列表推导式把每个输入值处理成带单引号的字符串，再用逗号连接，最终formatted_codes会变成'code1','code2'，完美适配IN子句的要求。

解决方案二：用临时视图+JOIN替代IN（安全规范） #

如果担心SQL注入风险，或者输入值数量较多，更推荐把输入列表转成临时视图，用JOIN来实现筛选：

from pyspark.sql.types import StringType

# 创建Widget并获取输入
dbutils.widgets.text("codes_to_search", "", "Enter values separated by comma")
input_values = dbutils.widgets.get("codes_to_search")
input_list = [code.strip() for code in input_values.split(",") if code.strip()]

# 把输入列表转成Spark DataFrame并创建临时视图
codes_df = spark.createDataFrame(input_list, StringType()).toDF("target_code")
codes_df.createOrReplaceTempView("search_codes")

# 用JOIN替代IN子句查询
query = """
SELECT t.* 
FROM your_target_table t
INNER JOIN search_codes sc ON t.concept_name = sc.target_code
"""

result_df = spark.sql(query)
result_df.display()

这种方法完全避免了字符串拼接的风险，而且Spark会自动优化JOIN操作，处理大量输入值时性能也更稳定。

额外小提示 #

如果不想做太多Python处理，也可以直接让用户在Widget里输入带单引号的格式（比如'code1','code2'），然后直接用$(codes_to_search)代入IN子句，但这种方式对用户不太友好，不推荐作为常规方案。

备注：内容来源于stack exchange，提问作者DAJames