You need to enable JavaScript to run this app. Pandas json_normalize 如何保留JSON列表字段并解决形状不匹配报错?
优惠活动
大模型
产品
解决方案
定价
更多

Pandas json_normalize 如何保留JSON列表字段并解决形状不匹配报错?

报错本质

触发ValueError的核心原因是json_normalize对meta字段的默认处理逻辑:

  • 当在meta参数中直接传入字符串形式的'teams'时,函数会识别到该字段的值是长度为2的列表,默认尝试拆解列表内部元素为独立的多值字段,和record_path='sites'展开后的行长度做形状对齐。
  • 单条赛事记录下有3个投注站点,展开后对应3行,而teams列表长度为2,两者形状无法匹配,就会触发广播运算的报错。
解决方法

两种方法都可以实现“展开sites为多行、保留teams原列表结构”的需求:

方法一:分步拼接(稳定性最高)

不把teams放进首次归一化的meta参数里,先正常展开sites和其他标量类别的赛事信息,再手动对齐teams列拼回结果。

# 第一步:正常展开sites,仅将标量字段放入meta
df = pd.json_normalize(
    data,
    record_path='sites',
    meta=['sport_key', 'sport_nice', 'home_team', 'commence_time', 'sites_count']
)

# 第二步:逐赛事提取teams列表,按每个赛事对应的sites数量重复,生成对齐列
teams_col = []
for event in data:
    # 当前赛事展开后的行数 = 该赛事下的站点数量
    row_count = len(event['sites'])
    # 将teams列表作为整体值,重复对应次数
    teams_col.extend([event['teams']] * row_count)

# 第三步:将teams列直接合并到展开后的结果中,完全保留原列表结构
df['teams'] = teams_col

该方法无隐式形状匹配逻辑,完全可控,不管单场赛事下的站点数量如何变化,都能正确关联对应赛事的teams列表,不会破坏列表结构。

方法二:嵌套路径传参(单步完成)

利用json_normalize的路径识别逻辑,将teams字段标记为完整路径,避免函数自动拆解列表内部元素:

pd.json_normalize(
    data,
    record_path='sites',
    # 将teams用单元素列表包裹,告诉函数这是完整的字段路径,不要拆解内部列表
    meta=['sport_key', 'sport_nice', 'home_team', ['teams']],
    sep='_'
)

关键调整:把原本的字符串形式的'teams'替换为单元素列表['teams'],函数识别到传入的是嵌套路径结构后,不会再主动拆解teams内部的列表元素,会直接把整个列表作为列值存入DataFrame,也就不会触发形状不匹配的报错。

注意事项
  • 两种方法生成的DataFrame中,teams列的每个值都是原始列表结构,不会被拆分为独立的team1、team2列。
  • 如果后续需要使用teams的具体值做筛选、计算,可以通过列表索引直接取值,无需在归一化阶段提前拆分。

内容的提问来源于stack exchange,提问作者Caesar

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 20:15:10