创建DataFrame列表时触发IndexError: list index out of range错误排查

嘿，我来帮你排查这个问题。首先得说，IndexError: list index out of range不一定直接是内存问题，咱们一步步拆解可能的原因，再对应找解决办法：

一、先排除文件本身的问题 #

两种写法本质上是等价的，所以报错根源肯定不是写法差异，大概率是某个/某些文件的读取出了问题，进而触发了索引错误。你可以先单独测试几个文件，比如挑列表里的前3个、中间几个和最后3个文件，单独用pd.read_csv读取：

import pandas as pd
# 测试单个文件
test_file = file_list[0]
try:
    test_df = pd.read_csv(test_file, sep=';', index_col=False)
    print(f"文件 {test_file} 读取成功，行数：{len(test_df)}")
except Exception as e:
    print(f"读取文件 {test_file} 出错：{str(e)}")

如果单个文件读取就报错，那问题就出在文件上：比如有的文件是空的、分隔符不是;（比如用了逗号或者制表符）、表头缺失、或者某一行的字段数和表头不匹配，这些情况都可能让pandas解析时触发索引相关的异常。

二、检查文件列表的有效性 #

确认file_list里的所有路径都是真实存在的，有没有空字符串或者拼写错误的路径？可以用下面的代码检查：

import os
for idx, file in enumerate(file_list):
    if not os.path.isfile(file):
        print(f"⚠️ 第 {idx} 个文件不存在或不是文件：{file}")

如果有不存在的文件，pandas读取时会抛出异常，有时候这种异常会被包装成IndexError，导致你误以为是列表操作的问题。

三、验证是否真的是内存问题 #

400个10万行的文件确实可能占用大量内存（假设每行10个字段，每个字段平均占用10字节，单个文件就是100MB左右，400个就是40GB），内存不足时可能会导致pandas读取过程中出现异常。你可以先尝试读取小批量文件（比如前10个），看看会不会报错：

df_list_small = [pd.read_csv(file, sep=';', index_col=False) for file in file_list[:10]]
print(f"成功读取10个文件，列表长度：{len(df_list_small)}")

如果小批量没问题，批量到一定数量就报错，那基本可以确定是内存问题。针对内存问题，有这些解决思路：

• 分块读取单个文件：用chunksize参数分块读取每个文件，处理完一块就输出结果，不用把整个文件的DataFrame存在内存里：

  for file in file_list:
      for chunk in pd.read_csv(file, sep=';', index_col=False, chunksize=10000):
          # 在这里处理chunk，比如写入数据库或者合并到总文件
          process_chunk(chunk)
  

• 优化DataFrame内存占用：指定dtype参数，把字段设为更节省内存的类型，比如把重复多的字符串设为category，数值型字段用更小的整数/浮点数类型：

  dtype_config = {
      "category_col": "category",
      "int_col": "int32",
      "float_col": "float32"
  }
  df = pd.read_csv(file, sep=';', index_col=False, dtype=dtype_config)
  

• 分批处理+持久化：读完一批文件后，把DataFrame保存为更省内存的格式（比如Parquet或Feather），然后释放内存再处理下一批，最后再合并所有持久化的文件。

四、总结排查步骤 #

1. 先测试单个文件读取，排除文件格式/内容问题；
2. 检查file_list里的所有路径是否有效；
3. 小批量读取验证是否为内存问题；
4. 根据排查结果对应解决（修复文件、修正路径、优化内存/分批处理）。

内容的提问来源于stack exchange，提问作者mobelahcen