如何用Python Pandas处理超大型CSV：列间计算与行间对比

原代码核心问题 #

• 遍历chunk时，for row in chunk实际遍历的是列名，而非数据行，导致无法正确获取每行数据
• data_out未初始化，直接调用append会触发NameError
• 行间对比未处理块间连续行（当前块最后一行与下一块第一行的差值）
• 不存在pd.write_csv方法，正确写法是DataFrame.to_csv
• 逐行遍历效率极低，未利用Pandas向量化运算优势

修正实现方案 #

针对大文件分块处理，优先用Pandas向量化运算替代逐行遍历，同时处理块间连续行的差值计算：

import pandas as pd

file_in = r"B:\Users\user\Documents\huge-dataset.csv"
file_out = r"B:\Users\user\Documents\aggregate.csv"

# 初始化前一行数据（用于块间差值计算）
prev_last_row = None
# 标记是否为第一块，用于处理文件头
first_chunk = True

# 分块读取数据
for chunk in pd.read_csv(file_in, chunksize=100000):
    # --------------------------
    # 1. 列间算术运算：计算Width/Length的ratio
    # --------------------------
    chunk['ratio'] = chunk['Width'] / chunk['Length']
    
    # --------------------------
    # 2. 行间数据对比：计算width_diff
    # --------------------------
    # 计算块内每行与前一行的差值
    chunk['width_diff'] = chunk['Width'].diff()
    
    # 处理块间连续行的差值（当前块第一行与上一块最后一行的差值）
    if prev_last_row is not None:
        chunk.loc[chunk.index[0], 'width_diff'] = chunk.iloc[0]['Width'] - prev_last_row['Width']
    
    # 更新上一块最后一行数据
    prev_last_row = chunk.iloc[-1]
    
    # --------------------------
    # 3. 写入结果到输出文件
    # --------------------------
    # 第一块保留表头，后续块不写表头
    chunk.to_csv(file_out, mode='a', header=first_chunk, index=False)
    first_chunk = False

关键说明 #

• 向量化运算：直接对整列进行diff()、除法运算，比逐行遍历效率提升数倍，适配大文件场景
• 块间差值处理：通过保存上一块最后一行数据，补全当前块第一行的行间差值，避免跨块数据断裂
• 分块写入：用mode='a'追加写入，避免一次性加载所有数据到内存，同时通过header参数控制仅第一块写入表头
• 列名访问：直接通过chunk['列名']访问整列数据，无需逐行处理；若需单独处理某一行，用chunk.iloc[行索引]

额外优化建议 #

• 如果CSV列名不明确，可先读取第一行确认列名：pd.read_csv(file_in, nrows=1).columns
• 若存在缺失值，可提前处理：chunk = chunk.dropna(subset=['Width', 'Length']) 或用fillna()填充
• 调整chunksize：根据内存情况调整，比如内存充足可设为200000，内存紧张则设为50000

内容的提问来源于stack exchange，提问作者skeetastax