Pandas分块读取CSV时如何按原始索引获取指定行数据

问题原因 #

分块读取返回的每个chunk都是独立DataFrame，iloc索引是块内从0开始的相对位置，不是原始CSV的全局行号。当chunksize=100时，每个块最多只有100行，直接传入全局行号（比如202）调用chunk.iloc[202]必然触发越界报错。

核心实现思路 #

• 提前整理待提取的全局行号，去重排序后记录最大目标行号，读完对应范围即可终止读取，不用加载整个文件
• 遍历每个分块时，记录当前块覆盖的全局行区间，筛选出落在该区间内的目标行
• 将全局行号转换为块内相对偏移量，用iloc提取对应行
• 所有块处理完成后，按原始顺序拼接结果即可

可直接复用的代码 #

示例参数：chunksize=100，待提取行号rows_id = [12,15,202,267,289,351]

import pandas as pd

# 基础配置
csv_file_path = "你的目标csv文件路径.csv"
chunksize = 100
rows_id = [12,15,202,267,289,351]

# 预处理目标行：去重、排序，方便后续判断和提前终止
target_rows = sorted(set(rows_id))
max_target_row = target_rows[-1] if target_rows else -1
collected_rows = []
current_chunk_start = 0  # 记录当前块对应的全局起始行号

for chunk in pd.read_csv(csv_file_path, chunksize=chunksize):
    chunk_length = len(chunk)
    # 筛选出落在当前块范围内的目标行
    hit_rows = [row for row in target_rows if current_chunk_start <= row < current_chunk_start + chunk_length]
    
    if hit_rows:
        # 全局行号转块内索引
        inner_index = [row - current_chunk_start for row in hit_rows]
        # 提取行，额外记录原始行号方便后续排序核对
        selected_part = chunk.iloc[inner_index].copy()
        selected_part["origin_row_id"] = hit_rows
        collected_rows.append(selected_part)
    
    # 更新下一个块的起始行号
    current_chunk_start += chunk_length
    # 超过最大目标行就直接终止，不用读剩余文件
    if current_chunk_start > max_target_row:
        break

# 拼接结果，默认按原始行号升序排列
result_df = pd.concat(collected_rows, ignore_index=True)
result_df = result_df.sort_values("origin_row_id").drop(columns=["origin_row_id"]).reset_index(drop=True)

可选调整 #

• 如果需要返回结果和传入的rows_id顺序完全一致，替换最后排序的代码即可：

# 严格匹配传入rows_id的顺序
result_df["origin_row_id"] = pd.Categorical(result_df["origin_row_id"], categories=rows_id, ordered=True)
result_df = result_df.sort_values("origin_row_id").drop(columns=["origin_row_id"]).reset_index(drop=True)

• 如果需要校验是否有行号超出文件总行数，可以在循环结束后对比已收集到的行号和目标行号，提示缺失的行。
• 内存足够的场景下不建议用分块读取，直接pd.read_csv后用iloc取数逻辑更简单；分块模式仅适用于文件大小超过可用内存的场景。

内容的提问来源于stack exchange，提问作者Whisht