请求协助拆分DataFrame字典列并分块优化计算

针对20万行的DataFrame，我们可以通过分块处理减少内存占用和计算耗时，同时完成字典列的拆分与对齐。以下是具体实现步骤：

核心思路 #

1. 将大DataFrame拆分为若干小数据块，避免一次性加载所有数据
2. 对每个数据块单独处理：把两个字典列分别拆分为键值对行
3. 按ID和行内顺序对齐两个字典的拆分结果，补全缺失值
4. 合并所有块的处理结果，得到最终表格

代码实现 #

1. 导入依赖库 #

import pandas as pd
import numpy as np

2. 定义单块处理函数 #

该函数负责将单个数据块中的字典列拆分为目标格式，并对齐行：

def process_chunk(chunk):
    # 处理第一个字典列，拆分为col_a（键）和col_b（值）
    chunk_a = (chunk.set_index('ID')['dictionary column 1']
               .apply(lambda x: pd.DataFrame(x.items(), columns=['col_a', 'col_b']))
               .groupby('ID')
               .apply(lambda df: df.reset_index(drop=True))
               .reset_index())
    
    # 处理第二个字典列，拆分为col_c（键）和col_d（值）
    chunk_c = (chunk.set_index('ID')['dictionary column 2']
               .apply(lambda x: pd.DataFrame(x.items(), columns=['col_c', 'col_d']))
               .groupby('ID')
               .apply(lambda df: df.reset_index(drop=True))
               .reset_index())
    
    # 按ID和行内顺序合并，补全缺失值（NA）
    merged_chunk = pd.merge(chunk_a, chunk_c, on=['ID', 'level_1'], how='outer').drop(columns='level_1')
    
    return merged_chunk

3. 分块处理逻辑 #

情况1：DataFrame已加载到内存

# 假设你的大DataFrame名为big_df
chunk_size = 10000  # 根据内存情况调整，如内存充足可设为20000
chunks = np.array_split(big_df, np.ceil(len(big_df) / chunk_size))

# 批量处理所有块并合并结果
final_result = pd.concat([process_chunk(chunk) for chunk in chunks], ignore_index=True)

情况2：从CSV文件读取（适合超大数据）

如果数据存储在CSV中，直接分块读取更节省内存：

chunk_size = 10000
final_result = []

# 读取时自动解析字符串格式的字典
for chunk in pd.read_csv('your_data.csv', chunksize=chunk_size, converters={
    'dictionary column 1': eval,
    'dictionary column 2': eval
}):
    processed_chunk = process_chunk(chunk)
    final_result.append(processed_chunk)

# 合并所有块的结果
final_result = pd.concat(final_result, ignore_index=True)

关键说明 #

• 块大小调整：chunk_size可根据你的内存容量灵活调整，内存大则设大值，减少分块数量；内存小则设小值，降低单块内存占用。
• 字典格式校验：确保dictionary column 1和dictionary column 2是Python字典类型，从CSV读取时需用converters参数解析字符串字典。
• 行对齐逻辑：通过level_1索引保证每个ID下的行对应字典键值对的原始顺序，不足的行自动补NA。

内容的提问来源于stack exchange，提问作者Chicago2017