从DataFrame筛选目标行的最优选择机制探讨

我有一个大型Excel表格，仅关注其中特定列，且只需要特定列满足指定条件的行。以下代码可实现需求：

import pandas as pd
import warnings

# 屏蔽openpyxl的用户警告
warnings.filterwarnings("ignore", category=UserWarning, module="openpyxl")

# 需要关注的列
COLUMNS = [
    "A",
    "B",
    "C"
]

# 源文件路径
XL = "source.xlsx"
# 源文件工作表名
SHEET = "Sheet1"
# 输出文件路径
OUTPUT = "target.xlsx"
# 输出文件工作表名
OUTSHEET = "Sheet1"

# 加载指定列并删除空值行
df = pd.read_excel(XL, sheet_name=SHEET, usecols=COLUMNS).dropna()
# 筛选A列包含"FOO"的行
df = df[df["A"].str.contains(r"\bFOO\b", regex=True)]
# 再筛选B列包含"BAR"的行
df = df[df["B"].str.contains(r"\bBAR\b", regex=True)]
# 导出到新表格
df.to_excel(OUTPUT, sheet_name=OUTSHEET, index=False)

该代码可正常运行，但我想了解当筛选条件变得更复杂时，是否有更优的筛选机制，还是逐步筛选的方式就足够？

先明确：逐步筛选本身完全可用 #

你的现有写法逻辑清晰，每一步都能单独验证结果，调试起来非常方便，对于大多数场景（哪怕条件变复杂），逐步筛选的稳定性和可读性都没问题，完全够用。

但如果条件涉及多列的与/或/非混合，或者想让代码更紧凑，以下几种机制会更优：

1. 合并多条件为单一布尔索引 #

把多个筛选条件合并成一个布尔表达式，一次性完成筛选，减少中间变量的生成，代码更紧凑：

# 加载数据后直接生成筛选掩码
df = pd.read_excel(XL, sheet_name=SHEET, usecols=COLUMNS).dropna()

# 合并多条件：A包含FOO 且 B包含BAR
mask = (df["A"].str.contains(r"\bFOO\b", regex=True) 
        & df["B"].str.contains(r"\bBAR\b", regex=True))
# 一次性筛选
df = df[mask]

• 用&表示“与”，|表示“或”，~表示“非”，复杂混合条件用括号分组，可读性依然很强；
• 性能和逐步筛选几乎一致，但代码更简洁，适合条件固定的场景。

2. 使用query()方法写类自然语言的条件 #

对于复杂的多列条件，query()支持类似SQL的语法，代码更易读：

df = pd.read_excel(XL, sheet_name=SHEET, usecols=COLUMNS).dropna()

# 用query写筛选条件，支持字符串匹配、数值运算等
df = df.query('A.str.contains(r"\bFOO\b", regex=True) and B.str.contains(r"\bBAR\b", regex=True)')

如果涉及数值列的运算，比如C > 100，写法会更直观：df.query('A.str.contains("FOO") and B.str.contains("BAR") and C > 100')。

3. 自定义函数处理极端复杂的联动条件 #

如果条件涉及多列联动的自定义逻辑（比如根据A列的内容动态判断B列的阈值，或者需要调用外部工具），可以用apply()：

def complex_check(row):
    # 示例：A包含FOO、B包含BAR，且C的值大于A列最后一段数字的一半
    if not ("FOO" in row["A"] and "BAR" in row["B"]):
        return False
    # 提取A列最后一段数字
    try:
        num = int(row["A"].split("_")[-1])
        return row["C"] > num / 2
    except:
        return False

df = pd.read_excel(XL, sheet_name=SHEET, usecols=COLUMNS).dropna()
df = df[df.apply(complex_check, axis=1)]

⚠️ 注意：apply()是逐行运算，性能远低于向量化操作（比如str.contains、布尔索引），超大型表格慎用，优先用前面两种方法。

4. 超大表场景：加载时直接筛选 #

如果表格大到加载后内存不够，可以用read_excel的chunksize参数分块读取，或者用dask.dataframe做分布式处理，但这属于进阶场景，常规大表用前面的方法足够。

总结 #

• 若需要分步调试、验证结果，逐步筛选是最优选择，稳定且易读；
• 若条件是固定的多列与/或组合，**合并布尔索引或query()**更简洁，性能相当；
• 只有极端复杂的多列联动逻辑，才考虑apply()，但要注意性能损耗。

内容的提问来源于stack exchange，提问作者jackal