PySpark如何使用一个DataFrame的条件过滤另一个DataFrame的Category字段

• 第一步：提取过滤规则：将存储过滤条件的dataframe_1的行数据转为字典格式，剔除空值（包括None、空字符串等无效值）对应的字段，只保留有实际过滤需求的字段和对应值。
• 第二步：拼接过滤条件：遍历有效的字段值对，生成PySpark的列匹配表达式，将所有表达式用逻辑与（&）拼接为最终的过滤条件。
• 第三步：执行过滤：将拼接好的条件传入dataframe_2的filter方法，提取符合条件的Category字段即可。

from pyspark.sql.functions import col

# 1. 提取dataframe_1的有效过滤条件（默认dataframe_1只有1行过滤规则）
filter_row = dataframe_1.first()
filter_dict = filter_row.asDict()
# 过滤空值：排除None和空字符串/全空格的无效条件
valid_filters = {k: v for k, v in filter_dict.items() if v is not None and str(v).strip() != ""}

# 2. 生成动态过滤条件
if not valid_filters:
    # 无有效过滤条件时按需返回结果，此处默认返回所有Category
    result_df = dataframe_2.select("Category")
else:
    filter_condition = None
    for field, target_value in valid_filters.items():
        current_condition = col(field) == target_value
        if filter_condition is None:
            filter_condition = current_condition
        else:
            # 多条件用逻辑与拼接，要求同时满足所有有效规则
            filter_condition = filter_condition & current_condition
    # 3. 执行过滤查询
    result_df = dataframe_2.select("Category").filter(filter_condition)

# 输出结果
result_df.show()

注意事项：

1. 确保两个DataFrame的对应字段名完全一致（大小写、空格等），避免匹配失败
2. 如果dataframe_1包含多行并行过滤规则，可以遍历每一行生成对应的条件组，再用逻辑或（|）拼接所有组的条件，实现多组规则匹配

内容的提问来源于stack exchange，提问作者think-maths