如何用Python解析类INI数据文件并将data段转为pandas DataFrame

你的文件是带分段标记的纯文本结构，完全不需要中转Excel，只要定位到[data]标记的位置，把后续内容切出来交给pandas解析即可，全程在Python中完成，处理大文件的效率远高于导入Excel中转的流程。

基础实现代码 #

核心流程为：逐行扫描定位[data]标记位置 → 读取标记行之后的所有内容 → 交给pandas识别空白分隔的列结构

import pandas as pd
from io import StringIO

# 替换为你的实际文件路径
target_file = "你的数据文件路径.txt"
data_marker_pos = None

# 逐行扫描找[data]标记
with open(target_file, "r", encoding="utf-8") as f:
    for line_idx, line in enumerate(f):
        if line.strip() == "[data]":
            data_marker_pos = line_idx
            break

if data_marker_pos is None:
    raise RuntimeError("文件内未匹配到[data]分段标记")

# 读取标记行之后的全部内容（首行为列名、后续为数据行）
with open(target_file, "r", encoding="utf-8") as f:
    all_lines = f.readlines()
raw_data_block = "".join(all_lines[data_marker_pos + 1:])

# 解析为DataFrame，\s+匹配任意长度的空格/制表符分隔
df = pd.read_csv(StringIO(raw_data_block), sep=r"\s+")

超大文件优化方案 #

如果文件达到GB级，上述全量读取行的逻辑会占用较多内存，可以利用文件指针的特性优化，完全不需要提前存储metadata段的内容：

import pandas as pd

target_file = "你的大文件路径.txt"
with open(target_file, "r", encoding="utf-8") as f:
    # 逐行扫描直到遇到[data]标记，扫过的内容不做内存留存
    for line in f:
        if line.strip() == "[data]":
            break
    # 此时文件指针自动落在[data]行的下一行，直接把文件对象传给pandas读取
    df = pd.read_csv(f, sep=r"\s+")

优化逻辑下，内存占用不会随metadata段的长度变化，pandas会自带分块读取机制适配超大文件，不会一次性把全量数据加载进内存。

常见适配调整 #

• 如果你的数据存在缺失值，只需要在pd.read_csv()中增加na_values=["自定义的缺失值标记"]参数即可适配
• 如果列的分隔符不是空白而是固定的其他符号，只需要修改sep参数为对应分隔符即可
• 不需要提前单独把列名行切出来，pandas会自动把[data]段后的第一行识别为列名

内容的提问来源于stack exchange，提问作者winsid