如何使用pandas.read_csv正则分隔符解析含空格的文本为DataFrame？

解析文本文件到pandas DataFrame时遇到瓶颈：想用pandas.read_csv()处理，但文件以空格作为分隔符，可部分字段本身包含空格，常规配置无法正确拆分。

示例数据行：

<123> 2022-12-08T14:00:00 tag [id="451" tid="145] text message with commas

期望解析后的表格结构：

方法1：固定宽度解析（推荐，若字段宽度稳定） #

如果每个字段的字符宽度是固定的，直接用pandas.read_fwf()（固定宽度格式解析）更高效，无需纠结分隔符：

import pandas as pd

# colspecs参数定义每个字段的起始/结束索引，根据实际数据调整
df = pd.read_fwf(
    "your_file.txt",
    colspecs=[(0, 5), (6, 25), (26, 30), (31, 47), (48, None)],
    names=["type", "time", "part", "ids", "message"]
)

方法2：正则表达式精准拆分 #

利用字段的格式特征，用正则匹配字段间的分隔空格（而非所有空格）：

import pandas as pd

# 正则匹配前四个字段后的空格作为分隔符
df = pd.read_csv(
    "your_file.txt",
    sep=r'(?<=>)\s|(?<=\d{2}:\d{2}:\d{2})\s|(?<=\w{3})\s|(?<=\d\])\s',
    names=["type", "time", "part", "ids", "message"],
    engine="python"
)

或者用str.extract按字段格式提取，可靠性更高：

import pandas as pd

# 定义匹配所有字段的正则模式
pattern = r'(<\d+>)\s(\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2})\s(\w+)\s(\[id="\d+" tid="\d+\])\s(.*)'

# 读取文件并逐行解析
with open("your_file.txt", "r") as f:
    lines = [line.strip() for line in f if line.strip()]

df = pd.DataFrame(
    [pd.Series(line).str.extract(pattern).iloc[0] for line in lines],
    columns=["type", "time", "part", "ids", "message"]
)

方法3：自定义解析函数 #

如果字段格式有明确规律，写个简单的函数逐行拆分：

import pandas as pd

def parse_line(line):
    parts = line.split()
    # 提取前三个固定字段
    type_field = parts[0]
    time_field = parts[1]
    part_field = parts[2]
    
    # 定位ids字段的结束位置（直到包含']'的元素）
    idx = 3
    while idx < len(parts) and "]" not in parts[idx]:
        idx += 1
    ids_field = " ".join(parts[3:idx+1])
    
    # 剩余部分拼接为message
    message_field = " ".join(parts[idx+1:])
    return [type_field, time_field, part_field, ids_field, message_field]

# 读取并转换为DataFrame
with open("your_file.txt", "r") as f:
    data = [parse_line(line.strip()) for line in f if line.strip()]

df = pd.DataFrame(data, columns=["type", "time", "part", "ids", "message"])

内容的提问来源于stack exchange，提问作者MK1986