You need to enable JavaScript to run this app. 如何对存储为字符串形式列表的DataFrame列使用pd.json_normalize()扁平化
优惠活动
大模型
产品
解决方案
定价
更多

如何对存储为字符串形式列表的DataFrame列使用pd.json_normalize()扁平化

正确使用pd.json_normalize()处理目标列的流程

直接调用失败的核心原因

  • 当前features列存储的是Python列表的字面量字符串,并非可被json_normalize识别的结构化对象,列值本质还是纯文本,切片会得到"['"这类字符片段
  • 这类字符串使用单引号包裹元素,不符合JSON要求的双引号规范,直接丢给json_normalize会触发格式解析错误,无法生成结构化结果

分步处理实现扁平表转换

第一步:安全将字符串转换为真实Python列表

大文件场景下禁止使用eval做解析,直接用Python标准库的ast.literal_eval安全解析Python字面量,避免代码注入风险:

import ast
import pandas as pd

# 原始示例数据
df = pd.DataFrame([
    "['a', 'b', 1, 2, 3, 'c', -5]",
    "['a', 'b', 1, 2, 4, 'd', 3]",
    "['a', 'b', 1, 2, 3, 'c', -5]"
], columns=['features'])

# 解析字符串为真实列表对象
df['features_parsed'] = df['features'].apply(ast.literal_eval)

解析完成后列值类型会从字符串变为list,不再存在切片取到单引号、方括号的问题。

第二步:调用pd.json_normalize生成扁平结构

由于解析后的每一行都是一维列表,json_normalize会自动按列表的每个索引位置拆分为独立列,列名默认对应列表的索引序号:

# 对解析后的列表列做扁平化处理
flat_features = pd.json_normalize(df['features_parsed'])

执行后得到的扁平表结构如下:

0  1  2  3  4  5  6
0  a  b  1  2  3  c -5
1  a  b  1  2  4  d  3
2  a  b  1  2  3  c -5

如果后续features列的结构升级为嵌套字典、多层嵌套列表,这套解析+扁平化的逻辑不需要修改,依然可以正常拆分为扁平列。

大文件场景的优化与操作提示

  • 针对超长列表的情况,扁平化完成后可以直接按列索引选取需要的元素子集做计算,无需遍历原始字符串内容
  • 若需要将扁平结构和原DataFrame合并,直接使用df.join(flat_features)即可对齐行索引,不需要手动匹配对应关系
  • 逐行解析速度较慢时,可以结合并行解析工具做批量处理,降低大文件的处理耗时

内容的提问来源于stack exchange,提问作者bwrabbit

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 02:36:08