如何在PySpark中实现多列全满足条件的DataFrame过滤？

对应你给出的Pandas代码，PySpark有几种简洁的实现方式，以下是具体示例：

假设我们有如下示例DataFrame，需要筛选col1、col2、col3全部小于等于10的行：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, expr
from functools import reduce
import operator

spark = SparkSession.builder.appName("MultiColFilter").getOrCreate()

data = [
    (1, 5, 8),
    (12, 3, 7),
    (4, 6, 11),
    (2, 2, 2)
]
df = spark.createDataFrame(data, ["col1", "col2", "col3"])

# 指定目标列和阈值
target_cols = ["col1", "col2", "col3"]
threshold = 10

方法1：使用expr结合数组all函数（最贴近Pandas逻辑） #

这种方式直接对应Pandas中all(axis=1)的行级判断逻辑：

# 生成每个列的布尔条件，组合成数组后用all判断所有条件为真
boolean_conditions = [f"{col} <= {threshold}" for col in target_cols]
filtered_df = df.filter(expr(f"all(array({','.join(boolean_conditions)}))"))

filtered_df.show()

输出结果：

+----+----+----+
|col1|col2|col3|
+----+----+----+
|   1|   5|   8|
|   2|   2|   2|
+----+----+----+

方法2：用reduce组合逻辑与条件 #

通过reduce将多个列的条件用逻辑与（&）串联起来，适合习惯函数式编程的场景：

# 生成每个列的条件表达式，再用reduce组合成一个整体条件
combined_condition = reduce(operator.and_, [col(c) <= threshold for c in target_cols])
filtered_df = df.filter(combined_condition)

filtered_df.show()

输出结果和方法1一致。

方法3：SQL风格字符串拼接 #

直接拼接SQL格式的条件语句，简单直观：

# 拼接成"col1 <=10 AND col2 <=10 AND col3 <=10"这样的条件字符串
condition_str = " AND ".join([f"{c} <= {threshold}" for c in target_cols])
filtered_df = df.filter(condition_str)

filtered_df.show()

输出结果同样一致。

内容的提问来源于stack exchange，提问作者Sad Vaseb