处理每行列数不一致的超长文本文件的Pandas读取异常问题

嗨，我太懂你这种头疼的感觉了——16万行的大文件，大部分格式规规矩矩，但冷不丁就冒出把两条记录挤在一行的情况，直接用Pandas读出来列序全乱，还到处是NaN，完全没法正常分析！

我给你捋个靠谱的解决方案，核心思路是先预处理每一行，把异常行拆成符合标准格式的行，再交给Pandas处理，这样就能从根源上解决列数混乱的问题。

具体操作步骤 #

1. 先明确你的记录格式

从你描述的情况看：

• 标准完整记录是8列：ID name val1 val2 val3 X Y Z
• 短记录是5列：ID name X Y Z（缺少val1、val2、val3）
• 异常行是把1条完整记录和1条短记录拼在一起，变成13列的超长行

2. 逐行读取+预处理文件

直接用Pandas的read_csv会因为列数不一致导致混乱，所以我们先用Python原生的文件读取来逐行处理，这样能精准控制每一行的拆分逻辑：

import pandas as pd

# 先定义关键参数，根据你的实际情况调整
processed_rows = []
standard_columns = ['ID', 'name', 'val1', 'val2', 'val3', 'X', 'Y', 'Z']
full_record_length = 8
short_record_length = 5
combined_record_length = full_record_length + short_record_length  # 也就是13

# 逐行读取处理，大文件也能轻松应对
with open('你的文件名.txt', 'r', encoding='utf-8') as f:
    for line_num, line in enumerate(f, 1):
        stripped_line = line.strip()
        if not stripped_line:  # 跳过空行
            continue
        
        # 把行分割成元素列表（如果是逗号/制表符分隔，改这里的split参数）
        elements = stripped_line.split()
        elem_count = len(elements)

        # 按不同长度的行分别处理
        if elem_count == full_record_length:
            # 标准完整行，直接保留
            processed_rows.append(elements)
        elif elem_count == short_record_length:
            # 短记录，补三个空值对应val1/val2/val3，对齐标准列
            processed_rows.append(elements[:2] + [None, None, None] + elements[2:])
        elif elem_count == combined_record_length:
            # 超长异常行，拆成完整记录+短记录
            processed_rows.append(elements[:full_record_length])
            short_part = elements[full_record_length:]
            processed_rows.append(short_part[:2] + [None, None, None] + short_part[2:])
        else:
            # 遇到其他未知长度的行，打印出来方便排查
            print(f"警告：第{line_num}行长度异常，元素个数为{elem_count}，内容：{stripped_line}")
            # 你可以选择跳过该行，或者根据实际情况自定义处理逻辑
            continue

# 把处理好的行转成Pandas DataFrame
final_df = pd.DataFrame(processed_rows, columns=standard_columns)

# 可选：把val1/val2/val3转成数值类型（如果需要的话）
final_df[['val1', 'val2', 'val3']] = final_df[['val1', 'val2', 'val3']].apply(pd.to_numeric, errors='coerce')

3. 一些实用的小提示

• 如果你的文件是用逗号、制表符或者其他分隔符，把split()改成split(',')、split('\t')就行；如果是混合了空格和制表符，用re.split(r'\s+')（记得先导入re模块）更灵活。
• 16万行的文件用这种逐行处理的方式，内存压力很小，因为不会一次性把所有内容都加载到内存里，边读边处理边存结果。
• 代码里加了行号打印异常行的逻辑，方便你定位特殊格式的行，后续可以针对性调整处理规则。

这样处理完之后，你得到的DataFrame就是结构整齐的，列序完全符合预期，NaN也只会出现在短记录的val1/val2/val3列，不会再出现列混乱的情况啦！

内容来源于stack exchange