You need to enable JavaScript to run this app. pandas数据框中扁平化处理CSV嵌套JSON数据的最简实现方法咨询
优惠活动
大模型
产品
解决方案
定价
更多

pandas数据框中扁平化处理CSV嵌套JSON数据的最简实现方法咨询

含嵌套JSON列的CSV读取与扁平化实现

读取阶段前置处理

绝大多数解析失败的根源是读CSV时自动类型转换破坏了JSON字符串的转义格式,首先按字符串类型全量读入所有列,避免格式被篡改:

import pandas as pd
import json
# 全量按字符串读入,关闭自动类型转换
df = pd.read_csv("目标文件路径.csv", dtype=str)

配套编写通用安全JSON解析函数,兼容空值、非法格式字符串的异常处理,避免单行错误中断全量流程:

def safe_json_parse(raw_str):
    if pd.isna(raw_str):
        return {}
    try:
        return json.loads(raw_str)
    except json.JSONDecodeError:
        return {}

场景1:字典格式JSON字符串列(如device设备信息列)

这类列存储单层级或多层级嵌套的JSON对象,处理步骤如下:

  • 将原始字符串列批量解析为Python字典对象
    df["device_parsed"] = df["device"].apply(safe_json_parse)
    
  • 用json_normalize自动递归拍平所有嵌套层级,生成带统一前缀的独立列:
    # sep参数指定嵌套层级的连接符,避免和原有列名冲突
    device_flat = pd.json_normalize(df["device_parsed"], sep="_").add_prefix("device_")
    
  • 拼接回原数据框,删除中间解析的临时列:
    df = pd.concat(
        [df.drop(columns=["device", "device_parsed"]), device_flat.reset_index(drop=True)],
        axis=1
    )
    

注意:json_normalize会自动处理所有层级嵌套,比如device内嵌套的browser.name字段会直接生成device_browser_name独立列,无需手动逐层拆解。

场景2:嵌套字典组成的列表格式JSON字符串列(如hits访问事件列)

这类列存储列表结构,列表内每个元素是独立的嵌套字典,根据业务需求分两种处理逻辑:

逻辑A:列表每个元素展开为独立行(适用于页面访问、交互事件类明细数据)

  • 先将原始字符串列解析为列表对象
    df["hits_parsed"] = df["hits"].apply(safe_json_parse)
    
  • 对列表列执行explode操作,将每个列表元素拆分为独立行
    df_exploded = df.explode("hits_parsed", ignore_index=True)
    
  • 对拆分后的每个嵌套字典执行拍平操作,拼接回数据框
    hits_flat = pd.json_normalize(df_exploded["hits_parsed"], sep="_").add_prefix("hits_")
    final_df = pd.concat(
        [df_exploded.drop(columns=["hits", "hits_parsed"]), hits_flat.reset_index(drop=True)],
        axis=1
    )
    

逻辑B:列表不拆行,仅提取列表内指定属性(适用于会话级聚合数据)

如果不需要将列表拆为多行,仅需提取列表内固定位置的属性(如取第一个访问事件的商品列表),可自定义提取函数:

def extract_hits_attrs(hits_list):
    if not isinstance(hits_list, list) or len(hits_list) == 0:
        return {}
    # 取列表中第一个元素的嵌套内容拍平,可根据需求调整取值位置
    return pd.json_normalize(hits_list[0], sep="_").to_dict(orient="records")[0]
# 批量提取属性并拍平
df["hits_parsed"] = df["hits"].apply(safe_json_parse)
hits_attrs = df["hits_parsed"].apply(extract_hits_attrs)
hits_flat = pd.json_normalize(hits_attrs, sep="_").add_prefix("hits_")
final_df = pd.concat(
    [df.drop(columns=["hits", "hits_parsed"]), hits_flat],
    axis=1
)

常见踩坑提醒

  • 读CSV时必须加dtype=str,否则pandas会自动把JSON中的数字、布尔值转为Python原生类型,破坏字符串格式导致解析失败
  • 必须加异常捕获逻辑,否则遇到个别空值、格式损坏的行会导致全量流程中断
  • 如果JSON字符串存在转义双引号,json.loads可直接识别,无需手动替换转义字符

内容的提问来源于stack exchange,提问作者bhola prasad

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 00:45:05