You need to enable JavaScript to run this app. Python使用pandas读取多个CSV指定列全为NaN(部分CSV列长度不一致)
优惠活动
大模型
产品
解决方案
定价
更多

Python使用pandas读取多个CSV指定列全为NaN(部分CSV列长度不一致)

问题排查与修复方案

一、读取结果全为NaN的核心原因

  • 分隔符与CSV实际格式不匹配是最高概率原因
    你代码中使用sep=r"\s+"作为分隔符,会按任意数量的空白字符拆分每行内容。如果你的CSV是逗号、分号这类常规分隔符,且行内没有多余空白,pandas会将整行识别为1列。此时你指定usecols=[10](对应解析后第11个位置的列,索引从0开始),由于该位置不存在列,最终会返回全NaN的结果。
    修复方法:先单独读取一个测试文件,确认实际分隔符与列数:
    # 测试第一个文件的解析效果
    test_df = pd.read_csv(files[0])
    print(test_df.head())
    print(f"实际解析列数:{len(test_df.columns)}")
    
    根据测试结果调整sep参数:逗号分隔改为sep=",",制表符分隔改为sep="\t",混合多种分隔符可使用正则匹配,例如sep=r"[,;\s]+"。
  • 确认usecols的索引合法性
    调整分隔符后如果仍有NaN,说明解析后的总列数少于11,usecols=[10]对应的列不存在。此时可以直接用目标列的实际名称指定,避免索引错位,例如usecols=["你的目标列名"]。

二、不同文件列长度不一致的拼接问题

  • 你当前使用axis=1是横向拼接列,pandas默认会按行索引自动对齐:如果A文件的目标列有100行,B文件的目标列只有50行,拼接后B列的第50-99行会自动填充NaN,这也是你可能观察到额外NaN的原因。
  • 针对不同拼接需求的调整方案:
    • 如果需要把所有文件的目标列纵向堆叠为单列,将concat的axis参数改为axis=0即可,不会额外填充对齐NaN,拼接后可直接重置索引:
      df = pd.concat([read_row(fn) for fn in files], axis=0).reset_index(drop=True)
      
    • 如果需要保留横向拼接(每个文件的目标列单独作为一列),可以在拼接后删除全空行,或提前将所有列截断为最短列的长度:
      # 横向拼接后删除全空行
      df = pd.concat([read_row(fn) for fn in files], axis=1).dropna(how="all").reset_index(drop=True)
      

修正后参考代码

import pandas as pd
from glob import glob
def read_row(fn):
    # 此处替换为你实际的分隔符和取值方式,例如逗号分隔+指定列名
    return pd.read_csv(fn, sep=",", usecols=["目标列的实际名称"])
files = glob('./*/*.csv')
# 先取消下一行注释,测试单个文件是否能读到非NaN值
# print(read_row(files[0]).head())
df = pd.concat([read_row(fn) for fn in files], axis=1)
df = df.dropna(how="all").reset_index(drop=True)
df

内容的提问来源于stack exchange,提问作者SHEHAB

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 09:45:07