Python使用pandas读取多个CSV指定列全为NaN(部分CSV列长度不一致)
问题排查与修复方案
一、读取结果全为NaN的核心原因
- 分隔符与CSV实际格式不匹配是最高概率原因
你代码中使用sep=r"\s+"作为分隔符,会按任意数量的空白字符拆分每行内容。如果你的CSV是逗号、分号这类常规分隔符,且行内没有多余空白,pandas会将整行识别为1列。此时你指定usecols=[10](对应解析后第11个位置的列,索引从0开始),由于该位置不存在列,最终会返回全NaN的结果。
修复方法:先单独读取一个测试文件,确认实际分隔符与列数:
根据测试结果调整# 测试第一个文件的解析效果 test_df = pd.read_csv(files[0]) print(test_df.head()) print(f"实际解析列数:{len(test_df.columns)}")sep参数:逗号分隔改为sep=",",制表符分隔改为sep="\t",混合多种分隔符可使用正则匹配,例如sep=r"[,;\s]+"。 - 确认
usecols的索引合法性
调整分隔符后如果仍有NaN,说明解析后的总列数少于11,usecols=[10]对应的列不存在。此时可以直接用目标列的实际名称指定,避免索引错位,例如usecols=["你的目标列名"]。
二、不同文件列长度不一致的拼接问题
- 你当前使用
axis=1是横向拼接列,pandas默认会按行索引自动对齐:如果A文件的目标列有100行,B文件的目标列只有50行,拼接后B列的第50-99行会自动填充NaN,这也是你可能观察到额外NaN的原因。 - 针对不同拼接需求的调整方案:
- 如果需要把所有文件的目标列纵向堆叠为单列,将
concat的axis参数改为axis=0即可,不会额外填充对齐NaN,拼接后可直接重置索引:df = pd.concat([read_row(fn) for fn in files], axis=0).reset_index(drop=True) - 如果需要保留横向拼接(每个文件的目标列单独作为一列),可以在拼接后删除全空行,或提前将所有列截断为最短列的长度:
# 横向拼接后删除全空行 df = pd.concat([read_row(fn) for fn in files], axis=1).dropna(how="all").reset_index(drop=True)
- 如果需要把所有文件的目标列纵向堆叠为单列,将
修正后参考代码
import pandas as pd from glob import glob def read_row(fn): # 此处替换为你实际的分隔符和取值方式,例如逗号分隔+指定列名 return pd.read_csv(fn, sep=",", usecols=["目标列的实际名称"]) files = glob('./*/*.csv') # 先取消下一行注释,测试单个文件是否能读到非NaN值 # print(read_row(files[0]).head()) df = pd.concat([read_row(fn) for fn in files], axis=1) df = df.dropna(how="all").reset_index(drop=True) df
内容的提问来源于stack exchange,提问作者SHEHAB
相关产品推荐
相关产品推荐

