如何正确读取格式异常的分隔符数据文件并修正DataFrame列？

你的数据文件存在两个特殊格式问题，导致直接读取会出现列匹配失败的情况：

1. 表头用.分隔列名，数据行用|分隔字段
2. 每一行有效数据前，都有一行单独的id值（如1、2），属于无效干扰行

以下是两种解决思路：直接正确读取文件，或读取后修正已混乱的DataFrame。

方法一：直接读取时过滤无效行 #

通过预处理行数据，跳过空行和单独的id行，再创建标准DataFrame：

import pandas as pd

# 读取文件并过滤无效行
with open('你的数据文件名.txt', 'r', encoding='utf-8') as f:
    # 提取所有非空且字段数>1的行（排除单独的id行）
    valid_lines = [line.strip() for line in f if line.strip() and len(line.strip().split('|')) > 1]

# 拆分表头和数据
header = valid_lines[0].split('.')
data_rows = [row.split('|') for row in valid_lines[1:]]

# 创建DataFrame
df = pd.DataFrame(data_rows, columns=header)

方法二：读取后修正已混乱的DataFrame #

如果已经错误读取了文件（比如列错位、包含无效行），可以通过以下步骤修正：

import pandas as pd

# 假设已经读取得到错误的df（比如包含单独id行）
# 第一步：过滤掉字段数不足的无效行
df = df[df.apply(lambda x: x.notna().sum(), axis=1) > 1].reset_index(drop=True)

# 第二步：设置正确的列名
df.columns = [
    'id', 'salario', 'idade', 'mun_trab', 'mun_res',
    'anos_estudo', 'sexo', 'meso_trab', 'semiarido_trab', 'faixa_escolaridade'
]

# 可选：转换字段类型（比如薪资转数值、年龄转整数）
df['salario'] = pd.to_numeric(df['salario'])
df['idade'] = df['idade'].astype(int)

关键说明 #

• 核心问题是文件中夹杂的单独id行，必须过滤掉才能让列数匹配
• 表头的.分隔和数据的|分隔需要分别处理，确保列名和字段一一对应

内容的提问来源于stack exchange，提问作者Alex Gois