在PySpark DataFrame中识别列名与数据内空白字符的方法

针对你遇到的单列筛选有效但多列组合筛选混乱、无法精准统计空白单元格的问题，以下是标准化的识别方案，分为列名识别和数据单元格识别两部分：

一、识别列名中的空白/类空白字符 #

列名属于DataFrame元数据，直接遍历列名列表即可完成识别，无需并入数据行处理：

1. 定义匹配规则：覆盖空格、制表符、换行符、ASCII 0（\x00）等目标字符
2. 筛选包含匹配字符的列名

import re

# 匹配空白/类空白字符的正则表达式
whitespace_pattern = r'[\s\x00]'

# 筛选含目标字符的列名
cols_with_whitespace = [col_name for col_name in df.columns if re.search(whitespace_pattern, col_name)]

# 输出结果
print(f"含空白/类空白字符的列名: {cols_with_whitespace}")

二、识别数据单元格中的空白/类空白字符 #

要避免行级筛选导致的无空白单元格混入问题，需对每个单元格单独标记，再按需筛选或统计：

1. 为每个单元格生成空白标记列 #

使用regexp_exists函数为原DataFrame的每一列生成对应的布尔标记列，标记该单元格是否包含目标字符：

from pyspark.sql.functions import col, regexp_exists

# 匹配规则与列名识别一致
whitespace_regex = r'[\s\x00]'

# 生成所有列的空白标记列（命名格式：原列名_has_whitespace）
mark_columns = [
    regexp_exists(col(col_name), whitespace_regex).alias(f"{col_name}_has_whitespace")
    for col_name in df.columns
]

# 合并原数据与标记列
df_with_marks = df.select(df.columns + mark_columns)

# Databricks环境中用display可视化结果
df_with_marks.display()

2. 精准筛选含空白的行 #

如果需要保留至少有一个空白单元格的行，基于标记列构造筛选条件：

# 构造筛选逻辑：任意一个标记列为True
filter_condition = " OR ".join([f"{col_name}_has_whitespace" for col_name in df.columns])

# 筛选目标行
df_whitespace_rows = df_with_marks.filter(filter_condition)
df_whitespace_rows.display()

3. 统计各列空白单元格数量 #

通过聚合标记列的布尔值（转为int后求和），得到每列的空白单元格总数：

from pyspark.sql.functions import sum as spark_sum

whitespace_count_df = df_with_marks.agg(
    *[
        spark_sum(col(f"{col_name}_has_whitespace").cast("int")).alias(f"{col_name}_whitespace_count")
        for col_name in df.columns
    ]
)

whitespace_count_df.display()

扩展说明 #

• 若需覆盖更多类空白字符（如垂直制表符\x0B、换页符\x0C），可将正则表达式扩展为r'[\s\x00\x0B\x0C]'
• 标记列的方式能精准区分每个单元格的状态，彻底解决多列组合筛选时的混乱问题

内容的提问来源于stack exchange，提问作者Ruth Berge