在Pandas中优化数据处理：提取变量并替换NaN为0的最优方案

我有一个表格文件，需要读取其中部分列并逐行执行计算。为方便计算，需将所有NaN值替换为0。当前代码如下：

df = pd.read_csv('documents/doc.csv', error_bad_lines=False)

for i, row in df.iterrows():
    if i==0:
        continue
    else:
        try:
            id_1 = row[0]
            var1 = float(row["first column"])
            var2 = float(row["second column"])
            var3 = float(row["third column"])
            var4 = float(row["fourth column"])
            var5 = float(row["fifth column"])
            
            if math.isnan(float(var4)) or float(var4) == 0: 
                final= round(0.25*(var1+ var2 + var3)/3 + 0.75*var5, 1)
                pdb.set_trace()
            else:
                final_grade = round(0.166*(var1+ var2+ var3)/3 + 0.33*var4 + 0.5*var5, 1)
                print (var4)
            
        except Exception as e:
            print(e)
            pdb.set_trace()

请问提取变量并将所有潜在NaN值替换为0的最优方法是什么？

直接利用Pandas的向量化操作替代逐行循环，这不仅代码更简洁，执行效率也会提升几个数量级，同时能优雅处理NaN值替换。

步骤1：读取指定列并替换NaN为0 #

读取CSV时，直接指定需要的列，并用fillna(0)一次性把所有NaN值替换为0，同时确保数值列类型正确：

import pandas as pd

# 只读取需要的列，避免加载冗余数据
cols_needed = ["first column", "second column", "third column", "fourth column", "fifth column"]
df = pd.read_csv('documents/doc.csv', usecols=cols_needed, error_bad_lines=False).fillna(0)

# 强制转换为浮点类型，避免后续计算出现类型错误
df = df.astype(float)

步骤2：计算前三列的均值 #

先算出first column、second column、third column的平均值，简化后续计算逻辑：

# 按行计算前三列的均值
df['avg_123'] = df[["first column", "second column", "third column"]].mean(axis=1)

步骤3：向量化实现条件计算 #

用numpy.where实现条件分支逻辑，替代逐行判断，代码更简洁且高效：

import numpy as np

# 定义判断条件：第四列的值为0（包含原NaN转换后的0）
condition = df["fourth column"] == 0

# 根据条件分别计算最终结果
df['final_grade'] = np.where(
    condition,
    round(0.25 * df['avg_123'] + 0.75 * df["fifth column"], 1),
    round(0.166 * df['avg_123'] + 0.33 * df["fourth column"] + 0.5 * df["fifth column"], 1)
)

核心优势 #

• 效率碾压循环：Pandas向量化操作基于底层C实现，比iterrows循环快10-100倍，数据量越大优势越明显。
• 减少出错概率：无需手动处理每行的类型转换、NaN判断，避免循环中容易出现的边界错误。
• 可维护性更强：计算逻辑直观呈现，后续修改公式或调整条件只需修改对应代码块即可。

额外说明 #

如果需要保留原始ID列，只需在cols_needed中加入ID列的名称即可，例如：

cols_needed = ["id", "first column", "second column", "third column", "fourth column", "fifth column"]

内容的提问来源于stack exchange，提问作者Jose Ramon