Spark SQL中WHERE子句CASE语句触发ParseException的问题求助

错误根源 #

你的代码触发ParseException主要有两个核心问题：

1. SQL语法错误：原代码中ELSE facility <> not in {facility}完全不符合SQL语法——<>（不等于）和NOT IN（不在集合中）是两种独立的条件判断，不能组合使用；且当facility为字符串"None"时，拼接后的SQL出现not in None，None未加引号会被SQL解析器当作非法关键字。
2. 变量处理错误：facility = ("None")定义的是字符串而非元组，若要表示单元素元组需写成("None",)，否则后续拼接SQL时会出现格式错误。

修正方案 #

不需要用CASE WHEN来实现“无过滤/过滤指定设施”的逻辑，直接通过Python条件判断生成对应WHERE子句更简洁可靠，以下提供两种实现方式：

方式1：字符串拼接（简单直接）

%python

# 设为None表示不过滤，或指定元组如("ABC", "DEF", "IJK")表示排除这些设施
facility = None

if facility is None:
    where_clause = "1=1"  # 匹配所有数据
else:
    # 将元组转为SQL兼容的IN列表格式，比如('ABC','DEF')
    facility_list = "('" + "','".join(facility) + "')"
    where_clause = f"facility NOT IN {facility_list}"

facility_counts = spark.sql(f'''
SELECT COUNT(*) FROM database
WHERE {where_clause}
''')

facility_counts.display()

方式2：参数化查询（安全防注入）

如果要避免SQL注入风险，推荐使用Spark的参数绑定功能：

%python

facility = None
# facility = ("ABC", "DEF", "IJK")

if facility is None:
    # 无过滤时直接查询全表计数
    facility_counts = spark.sql("SELECT COUNT(*) FROM database")
else:
    # 用:var形式绑定参数，Spark会自动处理格式
    facility_counts = spark.sql(
        "SELECT COUNT(*) FROM database WHERE facility NOT IN (:facility)",
        params={"facility": list(facility)}
    )

facility_counts.display()

额外说明 #

若你坚持要用CASE WHEN实现，正确的语法应该是：

SELECT COUNT(*) FROM database
WHERE CASE
    WHEN '{facility}' = 'None' THEN TRUE
    ELSE facility NOT IN {facility_list}
END

但这种写法不如直接生成WHERE子句清晰，且仍需注意变量拼接的格式正确性。

内容的提问来源于stack exchange，提问作者Conraw