pandas DataFrame如何筛选列a为True且对应列b内部为True的块

解决方案 #

你可以用纯向量化操作实现需求，全程没有Python层循环，千万行级别数据也可以在数秒内完成处理，核心思路是先给a的连续块打标记，再批量计算每个块的匹配结果，最后映射回原数据：

实现代码 #

import pandas as pd

# 示例DataFrame
df = pd.DataFrame({'a':[True]*5+[False]*5+[True]*5,'b':[False]+[True]*3+[False]+[True]*5+[False]*4+[True]})

# 步骤1：给a的连续值块生成唯一ID，O(n)时间复杂度
df['block_id'] = df['a'].diff().ne(0).cumsum()

# 步骤2：批量计算每个块的匹配结果：块内a全为True 且 块内b符合规则
# 因为每个block的a值完全一致，直接取第一个值即可，不需要全量判断
# 如果你对b的判断规则不是「至少存在一个True」，只需要修改b_has_true对应的聚合逻辑即可，比如要求全为True就把'any'改成'all'
block_rule = df.groupby('block_id').agg(
    a_all_true=('a', 'first'),
    b_has_true=('b', 'any')
).eval('match = a_all_true and b_has_true')['match']

# 步骤3：把块的匹配结果映射回原数据行，得到c列
df['c'] = df['block_id'].map(block_rule).fillna(False)

# 清理临时列
df = df.drop('block_id', axis=1)

性能说明 #

• 所有操作都是基于numpy的底层向量化实现，没有逐行/逐块的Python循环，内存占用也仅比原DataFrame多一列整数型的block_id，1000万行数据占用额外内存不到40MB，完全可以在普通消费级PC上运行。
• 如果你的数据量超过内存上限，可以按固定行数拆分批量处理，只要保证每个拆分批次覆盖完整的a连续块即可，拆分逻辑也可以通过判断a的连续值断点实现，不需要额外的性能开销。

内容的提问来源于stack exchange，提问作者Derek O