PySpark动态列isin过滤问题：如何保留isin表达式而非字符串

你现在的问题出在把条件拼成了字符串，导致isin()被当成字符串解析而不是表达式执行。正确的做法是直接构建布尔条件表达式的列表，而不是拼接字符串。

修改后的代码 #

from functools import reduce
import operator

tmp = []
if args.bl is not None:
    tmp.append(df.b.isin(args.bl))
if args.cl is not None:
    tmp.append(df.cl.isin(args.cl))
if args.cl_g is not None:
    tmp.append(df.cl_g.isin(args.cl_g))
if args.pl is not None:
    tmp.append(df.pl.isin(args.pl))
if args.pl_b is not None:
    tmp.append(df.pl_b.isin(args.pl_b))

if len(tmp) > 1:
    # 用&组合所有条件（逻辑与）
    combined_condition = reduce(operator.and_, tmp)
    return df.filter(combined_condition)
elif len(tmp) == 1:
    return df.filter(tmp[0])
else:
    # 没有筛选条件时返回原DataFrame
    return df

关键说明 #

• 不再拼接字符串，每个条件直接调用isin()得到布尔类型的Column对象，这是filter()方法能直接识别的参数类型。
• 用reduce和operator.and_把多个布尔条件组合成一个整体，替代字符串拼接的" and "逻辑。
• 去掉了多余的count变量，直接通过len(tmp)判断条件数量更简洁。

内容的提问来源于stack exchange，提问作者avinash reddy