如何将数据库存储的键值对字符串转换为结构化DataFrame

这类用双引号包裹值的键值对字符串，绝对不能直接按全局空格分割——你根本没法区分「键值对之间用来分隔的空格」和「键名、值内部自带的空格」。之前用replace硬转JSON失败的原因就在这：全局替换逻辑会无差别修改所有位置的字符，很容易把值内部的空格、特殊字符改坏，解析稳定性极差。

用正则表达式从结构层面匹配完整的「键=“值”」单元，不需要提前固定表头，自动兼容新增字段，缺失值自动填充NaN，鲁棒性远高于字符串替换方案。

实现逻辑 #

• 正则匹配规则：识别所有符合[键名]="[值]"结构的片段，不管键名、值内部包含多少空格，只要值被双引号完整包裹，就能完整提取，不会被空格截断。
• 单行解析逻辑：输入任意一条原始字符串，输出由提取到的键值对组成的字典，自动适配该行存在的所有变量，不需要提前知道变量名。
• 批量生成DataFrame：把所有行解析得到的字典列表直接传入pandas的DataFrame构造函数，pandas会自动汇总所有出现过的键作为列名，某行不存在的键自动填充NaN，后续新增数据里出现从未有过的新变量时，会自动新增对应列，老数据该列默认补NaN，不需要手动维护表头。

可直接运行的代码 #

import pandas as pd
import re

# 正则表达式：匹配所有键值对，兼容键名、值内部带空格的场景
kv_pattern = re.compile(r'(?:^| )([^=]+)="([^"]*)"')

def parse_single_cell(raw_str: str) -> dict:
    # 提取单条字符串里的所有键值对，返回字典
    return {key.strip(): value for key, value in kv_pattern.findall(raw_str)}

# 模拟从数据库读取的原始列数据
raw_cell_list = [
    'TITLE="Brothers Karamazov" AUTHOR="Fyodor Dostoevsky" PAGES="520" RELEASED="1880"',
    'TITLE="Moby Dick" AUTHOR="Herman Melville" PAGES="655" MAIN CHARACTER="Ishmael"'
]

# 批量解析生成DataFrame
parsed_records = [parse_single_cell(cell) for cell in raw_cell_list]
df = pd.DataFrame(parsed_records)

# 按需转换数值类型，比如PAGES、RELEASED列转数值
for col in ["PAGES", "RELEASED"]:
    if col in df.columns:
        df[col] = pd.to_numeric(df[col], errors="coerce")

运行后得到的结果和预期完全一致：第一行MAIN CHARACTER列为NaN，第二行RELEASED列为NaN，值内部的空格（比如Brothers Karamazov、Fyodor Dostoevsky）都完整保留。

适配扩展 #

• 如果后续值内部出现转义双引号（比如NOTE="他说\"你好\""），只需要微调正则匹配规则即可，不需要重构整体逻辑。
• 数据库新增的同格式数据只要按同样逻辑走一遍parse_single_cell函数，追加到解析记录列表里即可，不需要提前修改表头配置。

内容的提问来源于stack exchange，提问作者donquixote2022