如何在Pandas中指定精确列数？解决无表头文件读取异常

遇到这种行列数不一致触发的ParserError确实头疼，尤其是不想跳过任何行的时候，我们可以通过指定目标列数并手动处理每行的列数来解决，下面是具体的实现步骤和代码：

方法1：利用on_bad_lines自定义处理逻辑（pandas 1.3.0+支持） #

如果你用的是较新版本的pandas（1.3.0及以上），可以直接通过on_bad_lines参数传入自定义函数，对列数不符合要求的行进行补全或截断：

import pandas as pd
import numpy as np

# 假设你需要的目标列数是5，可根据实际情况修改
TARGET_COLUMNS = 5
# 构造列名（因为header=None，用数字编号或自定义名称都可以）
col_names = [f'col_{i}' for i in range(TARGET_COLUMNS)]

def process_bad_line(line):
    # 列数不足时，用NaN填充至目标列数
    if len(line) < TARGET_COLUMNS:
        return line + [np.nan] * (TARGET_COLUMNS - len(line))
    # 列数过多时，截断到目标列数
    elif len(line) > TARGET_COLUMNS:
        return line[:TARGET_COLUMNS]
    # 列数符合要求，直接返回
    else:
        return line

# 读取文件
df = pd.read_csv(
    fname,
    sep='\t',
    header=None,
    names=col_names,
    quotechar=None,
    quoting=3,
    on_bad_lines=process_bad_line,
    engine='python'  # 注意：自定义处理函数需要搭配python引擎
)

方法2：先读取所有行再处理（兼容旧版本pandas） #

如果你的pandas版本较低，不支持on_bad_lines的自定义函数逻辑，可以先把文件内容读取成列表，手动处理每行的列数后再转成DataFrame：

import pandas as pd
import numpy as np

TARGET_COLUMNS = 5
col_names = [f'col_{i}' for i in range(TARGET_COLUMNS)]

# 读取所有行并按制表符分割
with open(fname, 'r', encoding='utf-8') as f:
    lines = [line.strip().split('\t') for line in f]

# 逐行处理：补全缺失列或截断多余列
processed_lines = []
for line in lines:
    if len(line) < TARGET_COLUMNS:
        processed_line = line + [np.nan] * (TARGET_COLUMNS - len(line))
    elif len(line) > TARGET_COLUMNS:
        processed_line = line[:TARGET_COLUMNS]
    else:
        processed_line = line
    processed_lines.append(processed_line)

# 转换为DataFrame
df = pd.DataFrame(processed_lines, columns=col_names)

关键说明 #

• 两种方法都需要你预先确定目标列数，可以根据文件中多数行的列数来设定；
• 方法1更简洁，但依赖较高版本的pandas；方法2兼容性更强，适合所有pandas版本；
• 你原来设置的quotechar=None和quoting=3（对应csv.QUOTE_NONE）能避免引号导致的解析问题，建议继续保留。

内容的提问来源于stack exchange，提问作者Shan