如何高效实现Pandas列首尾有效值间切片并筛选无NaN列？

直接用Pandas的矢量化操作替代循环，全程无需手动遍历列，处理大量列时效率大幅提升，步骤如下：

1. 计算每列的首尾有效索引
   利用notna()生成非空布尔矩阵，结合idxmax()快速定位每列第一个和最后一个非NaN的行索引：

   # 每列第一个非NaN的行索引
   first_valid = df.notna().idxmax()
   # 每列最后一个非NaN的行索引（倒序后取第一个True的位置）
   last_valid = df.notna()[::-1].idxmax()
   

2. 生成区间内元素的掩码
   创建与原DataFrame同形状的布尔掩码，标记每个元素是否处于对应列的首尾有效区间内：

   # 将行索引转为二维数组实现广播，和每列的首尾索引做比较
   row_idx = df.index.to_numpy()[:, None]
   mask = (row_idx >= first_valid.to_numpy()) & (row_idx <= last_valid.to_numpy())
   

3. 筛选符合条件的列
   用掩码过滤出区间内的元素，检查每列区间内是否仍存在NaN，最终保留无NaN的列：

   # 保留区间内的原始值，区间外替换为非NaN值（不影响NaN检查）
   filtered = df.where(mask, 0)
   # 筛选出区间内无NaN的列
   valid_cols = filtered.columns[filtered.notna().all()]
   # 获取最终结果
   result_df = df[valid_cols]
   

额外说明 #

• 矢量化操作是Pandas的核心优化手段，比循环遍历列的效率高一个数量级以上
• 如果你的DataFrame行索引不是连续整数，上述方法依然有效，因为是基于实际索引值进行比较
• 区间外替换的值可以是任意非NaN类型（比如空字符串、1等），只要不干扰NaN的判断即可

内容的提问来源于stack exchange，提问作者user9875321__