如何将文本文件中的特定格式数据转换为指定结构的DataFrame

实现思路 #

按空行分割文本得到单个数据块，逐个解析块内的键值对，对缺失字段统一填充null，最后整理成目标格式的DataFrame。

代码实现 #

import pandas as pd

# 读取目标文本文件
with open('your_file.txt', 'r') as f:
    content = f.read()

# 按空行分割出独立的数据条目
data_blocks = [block.strip() for block in content.split('\n\n') if block.strip()]

# 定义所有需要保留的字段
target_fields = ['Date', 'Time', 'ErrorCode', 'ErrorDetails']
data_list = []

for block in data_blocks:
    entry = {}
    # 解析单条数据内的键值对
    for line in block.split('\n'):
        key, val = line.split(' = ', 1)
        entry[key] = val
    # 填充缺失字段为null
    for field in target_fields:
        if field not in entry:
            entry[field] = 'null'
    data_list.append(entry)

# 生成指定格式的DataFrame
df = pd.DataFrame(data_list)[target_fields]

# 输出符合要求的格式（也可保存为CSV文件）
print(df.to_csv(index=False, na_rep='null'))

代码说明 #

• 用\n\n分割文本，过滤掉空内容块，确保每个块对应一条完整数据
• 对每个数据块解析键值对，缺失的字段手动填充为null
• 生成DataFrame时指定列顺序，确保和目标格式一致
• 运行后直接输出目标格式的文本，也可通过df.to_csv('output.csv', index=False, na_rep='null')保存为文件

内容的提问来源于stack exchange，提问作者chichi