如何对存储为字符串形式列表的DataFrame列使用pd.json_normalize()扁平化
正确使用
pd.json_normalize()处理目标列的流程 直接调用失败的核心原因
- 当前
features列存储的是Python列表的字面量字符串,并非可被json_normalize识别的结构化对象,列值本质还是纯文本,切片会得到"['"这类字符片段 - 这类字符串使用单引号包裹元素,不符合JSON要求的双引号规范,直接丢给
json_normalize会触发格式解析错误,无法生成结构化结果
分步处理实现扁平表转换
第一步:安全将字符串转换为真实Python列表
大文件场景下禁止使用eval做解析,直接用Python标准库的ast.literal_eval安全解析Python字面量,避免代码注入风险:
import ast import pandas as pd # 原始示例数据 df = pd.DataFrame([ "['a', 'b', 1, 2, 3, 'c', -5]", "['a', 'b', 1, 2, 4, 'd', 3]", "['a', 'b', 1, 2, 3, 'c', -5]" ], columns=['features']) # 解析字符串为真实列表对象 df['features_parsed'] = df['features'].apply(ast.literal_eval)
解析完成后列值类型会从字符串变为list,不再存在切片取到单引号、方括号的问题。
第二步:调用pd.json_normalize生成扁平结构
由于解析后的每一行都是一维列表,json_normalize会自动按列表的每个索引位置拆分为独立列,列名默认对应列表的索引序号:
# 对解析后的列表列做扁平化处理 flat_features = pd.json_normalize(df['features_parsed'])
执行后得到的扁平表结构如下:
0 1 2 3 4 5 6 0 a b 1 2 3 c -5 1 a b 1 2 4 d 3 2 a b 1 2 3 c -5
如果后续features列的结构升级为嵌套字典、多层嵌套列表,这套解析+扁平化的逻辑不需要修改,依然可以正常拆分为扁平列。
大文件场景的优化与操作提示
- 针对超长列表的情况,扁平化完成后可以直接按列索引选取需要的元素子集做计算,无需遍历原始字符串内容
- 若需要将扁平结构和原DataFrame合并,直接使用
df.join(flat_features)即可对齐行索引,不需要手动匹配对应关系 - 逐行解析速度较慢时,可以结合并行解析工具做批量处理,降低大文件的处理耗时
内容的提问来源于stack exchange,提问作者bwrabbit
相关产品推荐
相关产品推荐

