如何高效合规读取键值对文本文件并转换为Pandas DataFrame？

我有数千份文本文件，每份格式如下：

Some Key: value1
Some Other Key: value2
Another Key: value3
... < 300+ such entries > ...

我希望将每个文件读取为字典，再将其作为一行数据存入Pandas DataFrame。目前不确定所有文件的键是否完全一致，但这些是工具生成的日志，键的差异应该不大。

当前我用的简易代码如下：

with open(log_data_file, mode="r") as txt_file:
    for line in txt_file:
        keyval = line.strip().split(sep=":", maxsplit=3)
        
        if len(keyval) != 2:
            # some debug print
            continue
        
        data[keyval[0]] = keyval[1]

我可以添加正则匹配逻辑处理行数据，但除此之外，有没有Python包能指定文件语法，仅当语法符合、读取成功时才遍历键值对列表？

一、优化现有代码（正则方式） #

如果不想引入额外依赖，用正则可以更精准处理键值对，能兼容键含空格、值里带冒号的情况，比单纯split更鲁棒：

import re

def parse_log_file(file_path):
    data = {}
    # 正则规则：匹配「键（含空格）+ 冒号（前后可选空格）+ 值（剩余所有内容）」
    pattern = re.compile(r"^(.+?)\s*:\s*(.*)$")
    with open(file_path, "r") as f:
        for line_num, line in enumerate(f, 1):
            line = line.strip()
            if not line:
                continue  # 跳过空行
            match = pattern.match(line)
            if match:
                key = match.group(1).strip()
                value = match.group(2).strip()
                data[key] = value
            else:
                print(f"警告：第{line_num}行格式无效，已跳过: {line}")
    return data

二、使用现成Python包处理 #

1. configparser（Python标准库） #

虽然它主打INI文件解析，但调整配置后可以兼容你的键值对格式，还能自动跳过无效行，无需自己写校验逻辑：

from configparser import ConfigParser

def parse_with_configparser(file_path):
    config = ConfigParser(allow_no_value=True, strict=False, interpolation=None)
    # 关闭默认的键名小写转换
    config.optionxform = str
    # 临时给文件内容加一个[DEFAULT]分段（configparser要求必须有分段）
    with open(file_path, "r") as f:
        content = f"[DEFAULT]\n{f.read()}"
    config.read_string(content)
    return dict(config["DEFAULT"])

2. pyparsing（第三方库） #

如果需要自定义复杂语法规则（比如键必须符合特定格式），可以用这个库，它允许你定义精确的解析规则，只有符合规则的行才会被处理：

from pyparsing import Word, alphas, nums, White, Suppress, Optional, restOfLine

def parse_with_pyparsing(file_path):
    # 定义键的规则：允许字母、数字、空格
    key = Word(alphas + nums + " ").setName("key")
    # 定义分隔符：冒号前后可选空格
    colon = Suppress(Optional(White()) + ":" + Optional(White()))
    # 定义值：行内剩余所有内容
    value = restOfLine.setName("value")
    # 组合成完整的行解析规则
    line_rule = key + colon + value
    
    data = {}
    with open(file_path, "r") as f:
        for line_num, line in enumerate(f, 1):
            line = line.rstrip("\n")
            if not line.strip():
                continue
            try:
                parsed = line_rule.parseString(line)
                data[parsed[0].strip()] = parsed[1].strip()
            except Exception as e:
                print(f"警告：第{line_num}行解析失败: {line}，错误: {e}")
    return data

使用前需要先安装：pip install pyparsing

三、批量生成DataFrame #

不管用哪种解析方式，批量处理文件并生成DataFrame的逻辑如下：

import pandas as pd
import glob

# 替换为你的日志文件路径
file_paths = glob.glob("/path/to/your/logs/*.txt")

# 批量解析所有文件
all_data = [parse_log_file(path) for path in file_paths]

# 生成DataFrame，缺失的键会自动填充为NaN
df = pd.DataFrame(all_data)

内容的提问来源于stack exchange，提问作者soumeng78