PySpark如何用正则匹配多列，判断是否存在值大于0的列？

不需要手动逐个写列名，你可以结合正则筛选目标列+批量生成判断逻辑实现，具体实现如下：

前置依赖导入 #

from pyspark.sql import functions as F
from functools import reduce
import operator
import re

实现步骤 #

1. 用正则匹配筛选出需要判断的目标列，可根据实际列名规则调整正则表达式

# 示例：匹配所有格式为col+数字的列，如col1、col2、colX
target_cols = [c for c in df.columns if re.match(r'^col\d+$', c)]
# 如果需要判断全表所有列，直接写target_cols = df.columns即可

2. 批量生成判断条件，有两种常用实现方式

方式1：reduce拼接或条件（兼容所有PySpark版本） #

# 批量生成每列大于0的判断表达式，用或逻辑拼接所有条件
condition = reduce(operator.or_, [F.col(c) > 0 for c in target_cols])

df = df.withColumn("any value", F.when(condition, "any greater than 0").otherwise(None))

方式2：greatest函数简化判断（PySpark3.0+支持） #

直接取所有目标列的最大值，若最大值大于0则说明至少有一列满足条件：

df = df.withColumn("any value", 
    F.when(F.greatest(*[F.col(c) for c in target_cols]) > 0, "any greater than 0").otherwise(None)
)

注意：如果目标列存在空值，greatest会自动忽略空值做判断，所有列均为空时会返回空，最终命中otherwise逻辑赋值None，符合常规业务需求。

内容的提问来源于stack exchange，提问作者Dusty