使用布尔掩码索引大型DataFrame：依次应用掩码是否更高效？

给定大型DataFrame df，以下两种筛选方式中，第一种合并掩码的方式通常执行效率更高。

方式一：合并掩码一次筛选 #

# 先合并掩码
sub_df = df[(df["column1"] < 5) & (df["column2"] > 10)]

方式二：依次应用掩码多次筛选 #

# 依次应用掩码
sub_df = df[df["column1"] < 5]
sub_df = sub_df[sub_df["column2"] > 10]

效率差异分析 #

• 第一种方式仅对原DataFrame执行一次筛选操作，Pandas会利用向量化运算一次性处理所有条件，生成单一的布尔掩码数组后直接完成索引。整个过程避免了中间DataFrame的创建与内存分配，减少了数据复制的额外开销。
• 第二种方式需要先创建一个中间DataFrame，再对这个较小的数据集进行二次筛选。虽然第二次处理的数据量更小，但创建中间数据集带来的内存开销、两次索引操作的额外成本，在大型DataFrame场景下通常会超过数据量减小带来的优势。

只有当第一个条件筛选后的数据量骤减至原数据的极小比例时，第二种方式的性能差距才会缩小，但绝大多数大型数据集场景下，合并掩码的方式更具效率优势。

内容的提问来源于stack exchange，提问作者trivicious