使用Pandas read_csv加chunksize调用to_dict触发AttributeError求助

嘿，我来帮你搞定这个问题～咱们先理清楚报错的根源：

当你在pd.read_csv里用了chunksize参数时，返回的不是普通的DataFrame，而是一个TextFileReader迭代器对象——它会每次读入指定大小的分块数据，而不是一次性加载整个文件（这正是处理大CSV的正确姿势）。但这个迭代器本身并没有to_dict()方法，所以你直接调用就会触发AttributeError。

你的需求是替代csv.DictReader，实现每行数据转为字典的功能，下面是适配分块场景的正确写法：

修正后的代码 #

import pandas as pd

input_file_path = "你的CSV文件路径.csv"
skip_n_rows = 0  # 替换成你需要跳过的行数

# 遍历分块迭代器的每个DataFrame分块
for chunk_num, chunk_df in enumerate(pd.read_csv(
    input_file_path,
    chunksize=10000,
    skiprows=skip_n_rows
)):
    # 将当前分块转为字典列表，格式和csv.DictReader完全一致
    # 'records'参数表示每行对应一个字典，键为列名，值为单元格内容
    row_dict_list = chunk_df.to_dict('records')
    
    # 遍历每个行字典，如果你需要全局连续索引，可以计算：chunk_num*10000 + row_idx
    for row_idx, row_r in enumerate(row_dict_list):
        # 这里写你原来处理row_r的业务逻辑
        print(f"处理行：{row_r}")

关键细节说明 #

• to_dict('records')的作用：这是实现和csv.DictReader对齐的核心参数，它会把DataFrame转换成一个字典列表，每个字典对应一行数据，完全匹配你原来用DictReader得到的格式。
• 全局索引计算：如果你需要像原来那样的全局连续索引（而不是每个分块内从0开始的索引），可以用global_idx = chunk_num * 10000 + row_idx来计算（注意最后一个分块的行数可能小于10000，不过enumerate会自动处理）。
• 版本兼容性：你用的Pandas 0.23.0版本完全支持to_dict('records')，不需要担心版本适配问题。
• 表头处理：如果你的CSV没有表头，记得加上header=None参数，还可以用names指定自定义列名，比如names=['col1', 'col2', 'col3']，和DictReader的行为保持一致。

内容的提问来源于stack exchange，提问作者Daniyal Syed