如何加速Python中时间序列处理的for循环？求Pandas优化方案

一、替换嵌套循环：用Pandas矢量化操作提速 #

你的核心问题是在循环中逐行修改DataFrame（比如drop、concat、iloc/loc逐行访问），这类操作时间复杂度极高。下面是用Pandas内置方法重构的核心逻辑，完全避免嵌套循环：

1. 单批次数据处理逻辑（矢量化版本） #

import pandas as pd

def process_batch(temp_df):
    # 统一转换时间列为Timestamp类型，避免重复转换
    temp_df['时间'] = pd.to_datetime(temp_df['时间'], format='%Y-%m-%d %H:%M:%S')
    
    # 删除重复时间行
    temp_df = temp_df.drop_duplicates(subset='时间', keep='first').reset_index(drop=True)
    
    # 生成完整的1分钟间隔时间序列，自动补全缺失时间点
    full_time_index = pd.date_range(start=temp_df['时间'].min(), end=temp_df['时间'].max(), freq='1min')
    temp_df = temp_df.set_index('时间').reindex(full_time_index).reset_index().rename(columns={'index':'时间'})
    
    # 补全行的Column1、Column2填充为9999
    temp_df[['Column1', 'Column2']] = temp_df[['Column1', 'Column2']].fillna(9999)
    
    # 将Column1中小于0的值替换为9999
    temp_df['Column1'] = temp_df['Column1'].where(temp_df['Column1'] >= 0, 9999)
    
    # 处理Column2的原始缺失值：前后值相等则取该值，否则取平均
    # 用shift方法实现矢量化，避免逐行循环
    prev_col2 = temp_df['Column2'].shift(1)
    next_col2 = temp_df['Column2'].shift(-1)
    # 先标记需要填充的位置
    fill_mask = temp_df['Column2'].isna()
    # 前后相等的情况
    eq_mask = (prev_col2 == next_col2) & fill_mask
    temp_df.loc[eq_mask, 'Column2'] = prev_col2[eq_mask]
    # 前后不等的情况
    neq_mask = (prev_col2 != next_col2) & fill_mask
    temp_df.loc[neq_mask, 'Column2'] = (prev_col2[neq_mask] + next_col2[neq_mask]) / 2
    
    return temp_df

2. 分批读取与整合 #

# 先获取总行数
total_rows = pd.ExcelFile('my_file.xlsx').parse().shape[0]
batch_size = 14400
df = pd.DataFrame()

for start_row in range(0, total_rows, batch_size):
    # 注意skiprows的起始索引修正，避免跳过表头
    temp_df = pd.read_excel('my_file.xlsx', skiprows=range(1, start_row+1), nrows=batch_size)
    processed_df = process_batch(temp_df)
    df = pd.concat([df, processed_df], ignore_index=True)

二、进一步加速的工具与库 #

• Dask：适合超大规模内存放不下的数据，API与Pandas高度兼容，自动分批并行处理，无需大幅修改代码
• Vaex：基于内存映射技术，支持十亿级数据快速运算，全程矢量化操作，无需加载全量数据到内存
• NumPy：将DataFrame转为NumPy数组处理数值计算，速度远快于Pandas逐行操作，适合纯数值型清洗逻辑
• PyArrow：配合Pandas提升Excel读写速度，可指定pd.read_excel(engine='openpyxl')，或用PyArrow做数据序列化优化

三、Stack Overflow提问格式优化建议 #

1. 明确问题细节：补充具体效率瓶颈（如处理100万行耗时XX分钟）、数据规模（总行数、文件大小）、Python/Pandas版本
2. 提供最小可复现示例：创建包含10-20行的测试Excel数据，附上预期输出，方便他人快速复现问题
3. 说明尝试历程：比如是否试过apply、矢量化操作，结果如何
4. 代码规范：始终用代码块包裹代码，避免用图片展示代码
5. 拆分问题：若同时涉及“循环加速”和“库替代”，可分开描述，让回答者更聚焦

内容的提问来源于stack exchange，提问作者Easoooooon Yang