DataFrame多下拉联动筛选算法内存与性能扩展性优化求助

问题场景 #

• 通过下拉框筛选DataFrame数据，当前配置4个下拉框，计划扩展至8个
• 待处理DataFrame规模可达数千行，包含10-20列
• 核心需求：每个下拉框的可选选项需基于除自身外所有其他下拉框的选中结果过滤，确保用户只看到符合当前筛选上下文的选项
• 现有实现痛点：扩展性极差，新增筛选器时性能呈近似阶乘级下降，尝试单独应用筛选后取并集仍无法解决性能问题

优化方案 #

核心思路是统一管理筛选条件，针对每个下拉框仅排除自身条件后执行一次过滤，将时间复杂度从阶乘级降至线性级，完美支持扩展：

1. 将所有下拉框的选中状态整理为字典，键为列名，值为选中的选项列表（自动忽略"All"）
2. 遍历每个需要生成选项的列：
   • 构建临时筛选条件：保留字典中除当前列外的所有非"All"条件
   • 用临时条件过滤原DataFrame
   • 提取该列的唯一值作为当前下拉框的可选选项

优化后代码 #

import pandas as pd

data = {
    'Customer': ['David', 'Alice', 'Isaac', 'Hannah', 'Hannah', 'Emily', 'David', 'Rachel', 'Charlie', 'Samuel','Nathan', 'Bob', 'Alice', 'Charlie', 'Grace', 'Hannah', 'Quinn', 'Taylor', 'Alice', 'Rachel'],
    'Supplier': ['Supplier B', 'Supplier E', 'Supplier D', 'Supplier B', 'Supplier D', 'Supplier E', 'Supplier C','Supplier A', 'Supplier B', 'Supplier D', 'Supplier C', 'Supplier C', 'Supplier B', 'Supplier B','Supplier C', 'Supplier A', 'Supplier A', 'Supplier D', 'Supplier A', 'Supplier C'],
    'Product': ['Product 3', 'Product 5', 'Product 3', 'Product 1', 'Product 4', 'Product 5','Product 1','Product 4', 'Product 1', 'Product 5', 'Product 3', 'Product 5', 'Product 3','Product 5','Product 2', 'Product 1', 'Product 1', 'Product 2', 'Product 3', 'Product 1'],
    'SalesAmount': [975, 338, 987, 203, 489, 384, 564, 750, 954, 473, 266, 479, 463, 314, 786, 373, 818, 799, 763, 173]
}

df = pd.DataFrame(data).drop_duplicates()

def filter_by_conditions(df, conditions):
    """根据条件字典过滤DataFrame"""
    filtered_df = df.copy()
    for col, selections in conditions.items():
        if selections != ["All"]:
            filtered_df = filtered_df[filtered_df[col].isin(selections)]
    return filtered_df

def get_dropdown_options(df, target_col, all_conditions):
    """生成目标列的下拉选项，排除自身条件"""
    # 构建临时条件：去掉当前列的条件
    temp_conditions = {col: sel for col, sel in all_conditions.items() if col != target_col}
    filtered_df = filter_by_conditions(df, temp_conditions)
    # 返回唯一值列表
    return filtered_df[target_col].dropna().unique().tolist()

# 示例：所有下拉框的选中状态（可扩展任意数量）
dropdown_selections = {
    'Supplier': ["Supplier B"],
    'Product': ["All"],
    'Customer': ["All"],
    # 新增筛选列直接在这里添加即可，比如'SalesRegion': ["All"]
}

# 生成每个下拉框的可选选项
for col in dropdown_selections.keys():
    options = get_dropdown_options(df, col, dropdown_selections)
    print(f"New {col} dropdown options: {options}")

方案优势 #

• 线性扩展性：新增下拉框仅需在dropdown_selections字典中添加键值对，性能随筛选器数量线性增长
• 逻辑简洁：统一的条件管理和过滤逻辑，避免冗余的多轮过滤操作
• 适配大规模数据：数千行DataFrame的过滤操作耗时可忽略，完全满足业务需求

内容的提问来源于stack exchange，提问作者Kalkhas