Pandas json_normalize 如何保留JSON列表字段并解决形状不匹配报错?
报错本质
触发ValueError的核心原因是json_normalize对meta字段的默认处理逻辑:
- 当在meta参数中直接传入字符串形式的
'teams'时,函数会识别到该字段的值是长度为2的列表,默认尝试拆解列表内部元素为独立的多值字段,和record_path='sites'展开后的行长度做形状对齐。 - 单条赛事记录下有3个投注站点,展开后对应3行,而teams列表长度为2,两者形状无法匹配,就会触发广播运算的报错。
解决方法
两种方法都可以实现“展开sites为多行、保留teams原列表结构”的需求:
方法一:分步拼接(稳定性最高)
不把teams放进首次归一化的meta参数里,先正常展开sites和其他标量类别的赛事信息,再手动对齐teams列拼回结果。
# 第一步:正常展开sites,仅将标量字段放入meta df = pd.json_normalize( data, record_path='sites', meta=['sport_key', 'sport_nice', 'home_team', 'commence_time', 'sites_count'] ) # 第二步:逐赛事提取teams列表,按每个赛事对应的sites数量重复,生成对齐列 teams_col = [] for event in data: # 当前赛事展开后的行数 = 该赛事下的站点数量 row_count = len(event['sites']) # 将teams列表作为整体值,重复对应次数 teams_col.extend([event['teams']] * row_count) # 第三步:将teams列直接合并到展开后的结果中,完全保留原列表结构 df['teams'] = teams_col
该方法无隐式形状匹配逻辑,完全可控,不管单场赛事下的站点数量如何变化,都能正确关联对应赛事的teams列表,不会破坏列表结构。
方法二:嵌套路径传参(单步完成)
利用json_normalize的路径识别逻辑,将teams字段标记为完整路径,避免函数自动拆解列表内部元素:
pd.json_normalize( data, record_path='sites', # 将teams用单元素列表包裹,告诉函数这是完整的字段路径,不要拆解内部列表 meta=['sport_key', 'sport_nice', 'home_team', ['teams']], sep='_' )
关键调整:把原本的字符串形式的'teams'替换为单元素列表['teams'],函数识别到传入的是嵌套路径结构后,不会再主动拆解teams内部的列表元素,会直接把整个列表作为列值存入DataFrame,也就不会触发形状不匹配的报错。
注意事项
- 两种方法生成的DataFrame中,teams列的每个值都是原始列表结构,不会被拆分为独立的team1、team2列。
- 如果后续需要使用teams的具体值做筛选、计算,可以通过列表索引直接取值,无需在归一化阶段提前拆分。
内容的提问来源于stack exchange,提问作者Caesar
相关产品推荐
相关产品推荐

