优化Dataframe首尾零值替换：替代while循环的高效方案

• 核心思路：用Pandas向量化操作替代逐行循环，底层基于C实现，处理大数据时效率提升显著
• 单列处理示例
  先定位首尾非零值的位置，再批量赋值NaN，避免逐行判断：

  import pandas as pd
  import numpy as np
  
  # 构造示例数据
  data = {
      'Time': ['2022-11-09', '2022-11-10', '2022-11-11', '2022-11-12', '2022-11-13', '2022-11-14', '2022-11-15', '2022-11-16', '2022-11-17'],
      'variable one': [0, 0, 2, 7, 0, 5, 3, 0, 0]
  }
  df = pd.DataFrame(data)
  df['Time'] = pd.to_datetime(df['Time'])
  
  # 处理单列
  target_col = 'variable one'
  non_zero_mask = df[target_col].ne(0)
  if non_zero_mask.any():
      first_nonzero_idx = non_zero_mask.idxmax()
      last_nonzero_idx = non_zero_mask[::-1].idxmax()
      # 批量替换首段零值为NaN
      df.loc[:first_nonzero_idx-1, target_col] = np.nan
      # 批量替换尾段零值为NaN
      df.loc[last_nonzero_idx+1:, target_col] = np.nan
  else:
      # 全零列：所有值替换为NaN
      df[target_col] = np.nan
  

• 多列批量处理
  定义通用处理函数，结合apply批量处理所有数值列：

  def trim_col_zeros(series):
      non_zero_mask = series.ne(0)
      if not non_zero_mask.any():
          return series.replace(0, np.nan)
      first_idx = non_zero_mask.idxmax()
      last_idx = non_zero_mask[::-1].idxmax()
      series.loc[:first_idx-1] = np.nan
      series.loc[last_idx+1:] = np.nan
      return series
  
  # 选择所有数值型列进行处理
  numeric_cols = df.select_dtypes(include=[np.number]).columns
  df[numeric_cols] = df[numeric_cols].apply(trim_col_zeros)
  

• 效率说明
  原while循环是逐行Python层面判断赋值，数万行数据会产生大量循环开销；向量化操作是底层批量计算，相同数据量下速度能提升几十到上百倍，尤其适配数百列的大规模场景。

内容的提问来源于stack exchange，提问作者niccolo_guazz