Pandas实现EZ19列批量赋值给DataFrame指定NaN列的非循环方案

这套实现完全跳过Python层逐列循环，所有操作在底层C层执行，哪怕后续列数持续扩容到万级规模也不会出现性能瓶颈。

实现步骤 #

• 先定位符合规则的目标列
  沿用你已有的空值判断逻辑：从数据行起点（你的样本中是索引2，也就是31-Mar-15对应的行）到表尾，所有值全为NaN的列：

  data_start_row = 2  # 可根据实际表的数据行起始索引调整
  # 修正原代码中df与df_macro变量名不统一的问题，保证列索引判断和赋值是同一个DataFrame对象
  # 从数据起始行开始判断每列是否全为空，取出目标列
  target_cols = df.columns[df.loc[data_start_row:].isna().all()].tolist()
  # 如担心EZ19列被误纳入（当EZ19全空时），可追加排除条件
  # target_cols = df.columns[(df.loc[data_start_row:].isna().all()) & (df.columns != "EZ19")].tolist()
  

• 一次性批量赋值
  直接将EZ19列对应行的数值，通过广播能力覆盖所有目标列的数据区域：

  df.loc[data_start_row:, target_cols] = df.loc[data_start_row:, "EZ19"].values[:, None]
  

关键注意点 #

• 不要省略.values[:, None]操作：如果直接传Series对象，Pandas会逐列执行索引对齐校验，在列数较多时会产生额外开销；转成NumPy数组后，广播过程无需做对齐检查，执行速度最快。
• 原循环方案在5000列规模下，会产生5000次Python层的函数调用开销；上述矢量化方案仅触发一次批量内存拷贝操作，性能差距会随列数增加被进一步放大。

结果校验 #

用你提供的样本测试，筛选出的目标列就是ESP/FIN/PRT三列，赋值后这三列从数据行开始的数值会完全匹配EZ19列的内容，和原有循环实现的结果没有差异。

内容的提问来源于stack exchange，提问作者confused_certainties