如何对无法全量加载的大DataFrame按完整日期分组迭代？

因为你的CSV已经按日期排序，但分块读取时可能会把同一个日期的行拆分到两个块中，直接在块内groupby('date')会导致日期数据不完整。利用文件已排序的特性，我们可以通过保留上一块的残留日期数据，和当前块合并后再拆分出完整日期组的方式解决这个问题。

实现思路 #

1. 初始化变量存储上一块末尾的不完整日期数据
2. 遍历每个分块时，先合并上一块的残留数据
3. 拆分出当前块中所有完整的日期组（即除了最后一个日期之外的所有日期）进行处理
4. 将当前块末尾的不完整日期数据保留，供下一次循环合并使用
5. 循环结束后，处理最后剩余的残留数据

代码示例 #

import pandas as pd

def process_date_group(date, df):
    # 替换成你的实际处理逻辑，比如计算统计指标、写入数据库等
    print(f"处理日期: {date}, 行数: {len(df)}")

filename = "你的大型数据文件.csv"
chunksize = 10000  # 可根据内存情况调整
prev_chunk = None

with pd.read_csv(filename, chunksize=chunksize, parse_dates=['date']) as reader:
    for df_chunk in reader:
        # 合并上一块的残留数据
        if prev_chunk is not None:
            df_chunk = pd.concat([prev_chunk, df_chunk], ignore_index=True)
            prev_chunk = None
        
        unique_dates = df_chunk['date'].unique()
        # 如果当前块包含多个日期，拆分出完整日期部分和残留部分
        if len(unique_dates) > 1:
            # 取倒数第二个日期作为最后一个完整日期
            last_complete_date = unique_dates[-2]
            # 找到该日期最后一行的索引，作为拆分点
            split_idx = df_chunk[df_chunk['date'] == last_complete_date].index[-1] + 1
            
            complete_df = df_chunk.iloc[:split_idx]
            prev_chunk = df_chunk.iloc[split_idx:]
            
            # 处理所有完整的日期组
            for date, group in complete_df.groupby('date'):
                process_date_group(date, group)
        else:
            # 当前块只有一个日期，暂存为残留数据
            prev_chunk = df_chunk
    
    # 处理最后剩余的残留数据
    if prev_chunk is not None:
        for date, group in prev_chunk.groupby('date'):
            process_date_group(date, group)

关键注意事项 #

• 必须确保CSV文件是严格按date列排序的，否则同一个日期的行可能分散在非相邻块中，导致方法失效
• 读取时建议使用parse_dates=['date']参数，将date列解析为日期类型，避免字符串比较出现问题
• chunksize的大小可以根据你的内存容量调整，平衡内存占用和处理效率

内容的提问来源于stack exchange，提问作者pyCthon