使用Python清理杂乱数据库元数据并导入Pandas遇空格解析问题求助

以下是几个可行的解决方案，既能保证解析正确又能避免丢失数据：

方案1：预处理文本统一分隔符 #

先把文本中任意数量的空格替换为单一分隔符（比如逗号或制表符），再用pd.read_csv读取，这是最稳妥的方式：

import re
import pandas as pd

# 读取原文件并预处理
with open('元数据文件.txt', 'r', encoding='utf-8') as in_f, open('预处理文件.txt', 'w', encoding='utf-8') as out_f:
    for line in in_f:
        # 先去除首尾空格，再把中间任意多空格替换为单个逗号
        cleaned_line = re.sub(r'\s+', ',', line.strip())
        out_f.write(cleaned_line + '\n')

# 读取预处理后的文件
df = pd.read_csv('预处理文件.txt', sep=',')

方案2：指定Python引擎解析 #

pd.read_table配合sep='\s+'时，默认的C引擎可能因格式不规则抛出ParserError，改用Python引擎即可兼容：

import pandas as pd

# 使用Python引擎处理任意空格分隔的文本
df = pd.read_table('元数据文件.txt', sep='\s+', engine='python')

注：如果表头和数据行的列数不匹配，Python引擎会自动填充NaN，不会直接丢失数据

方案3：逐行手动解析 #

完全自定义解析逻辑，精准控制每一行的处理，适合处理极端杂乱的文本：

import pandas as pd

data_rows = []
with open('元数据文件.txt', 'r', encoding='utf-8') as f:
    # 读取表头（假设第一行是表头）
    header = f.readline().strip().split()
    for line_num, line in enumerate(f, start=2):
        # split()默认按任意空白分割，自动忽略首尾空格
        row_data = line.strip().split()
        # 检查列数是否匹配，避免数据错位
        if len(row_data) == len(header):
            data_rows.append(row_data)
        else:
            # 记录异常行，可根据需求补全或保留
            print(f"第{line_num}行列数不匹配，内容：{line.strip()}")
            # 可选：补全空值以保留该行
            # data_rows.append(row_data + ['']*(len(header)-len(row_data)))

# 构建DataFrame
df = pd.DataFrame(data_rows, columns=header)

额外注意事项 #

• 若文本中包含带空格的字段（比如表名含空格），需先通过正则提取时给这类字段加引号，再用逗号分隔，避免解析错误
• 处理编码问题：确保打开文件时指定正确的编码（比如utf-8、gbk），避免乱码导致解析失败

内容的提问来源于stack exchange，提问作者robert_553z8