将处理后数据还原为原始pandas dataframe维度并填充nan的高效方法

核心逻辑是提前留存有效行掩码，避免删除行后丢失位置映射，全程使用向量化操作，无Python级循环，适合大规模数据集批量处理：

• 步骤1：重塑原数据并生成有效行掩码
  不要直接删除含nan的行，先通过布尔数组记录有效行位置：

  # 取出data列重塑为1000×4矩阵
  data_mat = df['data'].to_numpy().reshape(1000, 4)
  # 生成有效行掩码：True代表该行无nan，需要处理
  valid_mask = ~np.isnan(data_mat).any(axis=1)
  

• 步骤2：仅对有效行应用处理函数
  用掩码提取有效行传入自定义处理函数，输出维度和输入一致：

  processed_valid = your_process_func(data_mat[valid_mask])
  

• 步骤3：还原为完整维度的矩阵
  初始化全nan的同维度矩阵，将处理后的有效行回填到对应位置：

  # 初始化全nan矩阵
  processed_full = np.full_like(data_mat, np.nan)
  # 回填处理后的有效行
  processed_full[valid_mask] = processed_valid
  

• 步骤4：打平后写入原始DataFrame新列

  df['new_col'] = processed_full.ravel()
  

• 性能优化提示
  • 自定义处理函数请尽量使用numpy/pandas向量化实现，避免内部使用Python循环
  • 若你重塑矩阵时使用的是列优先（F序），需在reshape和ravel方法中统一指定order='F'保证位置对应

内容的提问来源于stack exchange，提问作者ALEXANDER