在PySpark（DataBricks）中构建动态WHERE过滤器的问题

错误原因 #

你遇到的AnalysisException是因为在SQL字符串里用了&作为逻辑与运算符，但PySpark SQL中&是位运算符号，仅适用于整数类型，而日期比较返回布尔值，因此触发类型不匹配错误。正确的逻辑与运算符应该用AND。

可行方案 #

方案1：修正SQL字符串的逻辑运算符 #

直接替换&为AND，用格式化字符串让代码更易读：

where_condition = f"(`{check_column}` > '{start_date_str}' AND `{check_column}` < '{end_date_str}')"
filtered_df = df.where(where_condition)

注意：如果日期列是TIMESTAMP类型，确保start_date_str和end_date_str是PySpark可识别的格式（如yyyy-MM-dd或yyyy-MM-dd HH:mm:ss）。

方案2：使用Column API（推荐，更安全） #

避开直接拼接SQL字符串，用PySpark的Column对象动态构建条件，自动处理列名特殊字符，还能规避语法错误：

from pyspark.sql.functions import col

# 动态引用列，这里的&是Column对象的逻辑与重载运算符，不是位运算
filter_condition = (col(check_column) > start_date_str) & (col(check_column) < end_date_str)
filtered_df = df.filter(filter_condition)
# where和filter效果一致，也可以用filtered_df = df.where(filter_condition)

若需更严谨的类型匹配，可显式转换日期字符串为对应列类型：

from pyspark.sql.functions import to_date, to_timestamp

# 例：列是DATE类型时，显式转换日期字符串
filter_condition = (col(check_column) > to_date(start_date_str)) & (col(check_column) < to_date(end_date_str))

方案3：参数化Spark SQL查询（防注入风险） #

如果需要更高的安全性（比如避免潜在SQL注入），可以用参数绑定的方式：

# 注册临时视图
df.createOrReplaceTempView("temp_table")
# 通过?绑定参数
filtered_df = spark.sql(
    f"SELECT * FROM temp_table WHERE `{check_column}` > ? AND `{check_column}` < ?",
    (start_date_str, end_date_str)
)

额外注意事项 #

• 若日期列是DATE类型，建议用to_date()显式转换日期字符串，避免隐式转换的不确定性；
• 列名含特殊字符（如下划线、空格）时，用反引号`包裹是正确的处理方式；
• Column API是最优选择，类型安全且有IDE语法提示，出错概率更低。

内容的提问来源于stack exchange，提问作者Zebulon Pi