如何高效对千列以上宽DataFrame应用pd.to_numeric并转无效值为NaN？

• 方法1：利用stack/unstack实现批量转换
  把宽表转成长格式的Series，一次性应用pd.to_numeric后再转回宽表，避免逐列循环的开销，速度远快于常规逐列apply。

  df = df.stack().apply(pd.to_numeric, errors="coerce").unstack()
  

  原理：stack()将所有列合并为单个Series，此时pd.to_numeric以vectorized方式一次性处理所有元素，之后unstack()恢复原表结构。对于千列级的DataFrame，这种方法的效率提升非常明显。

• 方法2：优化逐列apply的参数
  保留apply结构，但开启raw=True参数，让pandas直接传递numpy数组而非Series给处理函数，减少对象初始化的额外开销。

  df = df.apply(lambda col: pd.to_numeric(col, errors="coerce"), raw=True)
  

  原理：默认raw=False时，每一列会被包装成Series对象传递，raw=True直接传递numpy数组，避免大量Series对象的创建与销毁，能显著提升处理速度。

• 方法3：numpy批量转换（进阶场景）
  直接利用numpy的字符串处理和类型转换函数，适合所有列均为字符串类型的场景，是三种方法中速度最快的：

  import numpy as np
  
  # 将DataFrame转为numpy数组
  arr = df.to_numpy()
  # 尝试转换，无效值设为NaN
  converted_arr = np.where(np.char.isnumeric(arr.astype(str)), arr.astype(float), np.nan)
  # 转回DataFrame
  df = pd.DataFrame(converted_arr, columns=df.columns, index=df.index)
  

  注意：该方法仅适用于列全为字符串的场景，对混合格式的兼容性不如pd.to_numeric，但性能优势显著。

内容的提问来源于stack exchange，提问作者Mark Wang