如何将变量中的值列表传入Spark SQL的IN语句

错误写法问题说明 #

你原代码无法运行的核心原因是：Python列表的原生字符串输出格式[1, 2, 3]不符合SQL IN子句的语法要求，SQL IN要求多值使用圆括号包裹、逗号分隔的格式，且不识别Python的列表方括号语法。

正确实现方式 #

现有列表定义：

list1 = [1,2,3]

数值类型id字段处理 #

1. 先将列表转换为SQL IN子句支持的逗号分隔字符串

in_values = ','.join(map(str, list1))

2. 拼接进SQL语句，注意IN关键字后必须补充圆括号

spark.sql(f'select * from tbl where id IN ({in_values})')

执行时实际生效的SQL为select * from tbl where id IN (1,2,3)，完全符合SQL语法规范。

字符串类型id字段扩展 #

如果过滤字段为字符串类型，需要给每个值额外包裹单引号，处理方式如下：

list1 = ["user1", "user2", "user3"]
in_values = ','.join([f"'{val}'" for val in list1])
spark.sql(f'select * from tbl where id IN ({in_values})')

注意：如果列表内容来自不可信的外部输入，为了规避SQL注入风险，建议使用Spark SQL官方参数化查询能力，不要直接拼接字符串。

内容的提问来源于stack exchange，提问作者Roger Steinberg