pandas数据框中扁平化处理CSV嵌套JSON数据的最简实现方法咨询
含嵌套JSON列的CSV读取与扁平化实现
读取阶段前置处理
绝大多数解析失败的根源是读CSV时自动类型转换破坏了JSON字符串的转义格式,首先按字符串类型全量读入所有列,避免格式被篡改:
import pandas as pd import json # 全量按字符串读入,关闭自动类型转换 df = pd.read_csv("目标文件路径.csv", dtype=str)
配套编写通用安全JSON解析函数,兼容空值、非法格式字符串的异常处理,避免单行错误中断全量流程:
def safe_json_parse(raw_str): if pd.isna(raw_str): return {} try: return json.loads(raw_str) except json.JSONDecodeError: return {}
场景1:字典格式JSON字符串列(如device设备信息列)
这类列存储单层级或多层级嵌套的JSON对象,处理步骤如下:
- 将原始字符串列批量解析为Python字典对象
df["device_parsed"] = df["device"].apply(safe_json_parse) - 用
json_normalize自动递归拍平所有嵌套层级,生成带统一前缀的独立列:# sep参数指定嵌套层级的连接符,避免和原有列名冲突 device_flat = pd.json_normalize(df["device_parsed"], sep="_").add_prefix("device_") - 拼接回原数据框,删除中间解析的临时列:
df = pd.concat( [df.drop(columns=["device", "device_parsed"]), device_flat.reset_index(drop=True)], axis=1 )
注意:json_normalize会自动处理所有层级嵌套,比如device内嵌套的browser.name字段会直接生成device_browser_name独立列,无需手动逐层拆解。
场景2:嵌套字典组成的列表格式JSON字符串列(如hits访问事件列)
这类列存储列表结构,列表内每个元素是独立的嵌套字典,根据业务需求分两种处理逻辑:
逻辑A:列表每个元素展开为独立行(适用于页面访问、交互事件类明细数据)
- 先将原始字符串列解析为列表对象
df["hits_parsed"] = df["hits"].apply(safe_json_parse) - 对列表列执行explode操作,将每个列表元素拆分为独立行
df_exploded = df.explode("hits_parsed", ignore_index=True) - 对拆分后的每个嵌套字典执行拍平操作,拼接回数据框
hits_flat = pd.json_normalize(df_exploded["hits_parsed"], sep="_").add_prefix("hits_") final_df = pd.concat( [df_exploded.drop(columns=["hits", "hits_parsed"]), hits_flat.reset_index(drop=True)], axis=1 )
逻辑B:列表不拆行,仅提取列表内指定属性(适用于会话级聚合数据)
如果不需要将列表拆为多行,仅需提取列表内固定位置的属性(如取第一个访问事件的商品列表),可自定义提取函数:
def extract_hits_attrs(hits_list): if not isinstance(hits_list, list) or len(hits_list) == 0: return {} # 取列表中第一个元素的嵌套内容拍平,可根据需求调整取值位置 return pd.json_normalize(hits_list[0], sep="_").to_dict(orient="records")[0] # 批量提取属性并拍平 df["hits_parsed"] = df["hits"].apply(safe_json_parse) hits_attrs = df["hits_parsed"].apply(extract_hits_attrs) hits_flat = pd.json_normalize(hits_attrs, sep="_").add_prefix("hits_") final_df = pd.concat( [df.drop(columns=["hits", "hits_parsed"]), hits_flat], axis=1 )
常见踩坑提醒
- 读CSV时必须加
dtype=str,否则pandas会自动把JSON中的数字、布尔值转为Python原生类型,破坏字符串格式导致解析失败 - 必须加异常捕获逻辑,否则遇到个别空值、格式损坏的行会导致全量流程中断
- 如果JSON字符串存在转义双引号,
json.loads可直接识别,无需手动替换转义字符
内容的提问来源于stack exchange,提问作者bhola prasad
相关产品推荐
相关产品推荐

