You need to enable JavaScript to run this app. pandas DataFrame拆分字典列生成新列时出现值错位如何解决
优惠活动
大模型
产品
解决方案
定价
更多

pandas DataFrame拆分字典列生成新列时出现值错位如何解决

问题原因

该错位问题的常见诱因有两个:

  1. 你使用的pandas版本低于1.4.0,旧版本pd.DataFrame.from_records处理键集合不一致的异构字典列表时,存在行对齐bug,会将不同行的同键值错位填充。
  2. 你用mask将NaN替换为空字典的操作未完全生效,部分空值未被替换,导致生成的字典列表长度和原DataFrame不匹配,join时按位置对齐引发错位。

解决方法

推荐两种全版本兼容的稳定写法,完全避免错位问题:

方案1:使用pd.json_normalize(最优)

这是pandas专门用于处理嵌套字典/JSON结构的官方方法,天然支持异构字典的行对齐:

# 先将空值替换为空字典,再调用json_normalize
expanded_cols = pd.json_normalize(df['b'].fillna({i: {} for i in df.index}))
# 保持索引和原df一致
expanded_cols.index = df.index
# 合并回原表
result = df.join(expanded_cols)

方案2:显式指定列名的from_records写法

如果你习惯用from_records的逻辑,可以手动提取所有唯一键,强制对齐列:

# 提取b列所有字典的唯一键
all_unique_keys = list({k for item in df['b'] if isinstance(item, dict) for k in item})
# 生成展开列时指定列名和索引
expanded_cols = pd.DataFrame.from_records(
    df['b'].mask(df.b.isna(), {}).tolist(),
    columns=all_unique_keys,
    index=df.index
)
result = df.join(expanded_cols)

两种方案均可得到正确的对齐结果,无需依赖pandas版本兼容。

内容的提问来源于stack exchange,提问作者abhi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 17:54:01