如何让pd.json_normalize按指定schema生成含NaN的额外列
解决方案
最简洁的实现方式是在pd.json_normalize处理完成后,调用reindex方法对齐目标列列表,缺失列会自动填充NaN,同时还能保证列顺序和指定的列表完全一致。
完整实现代码
import pandas as pd # 原始数据与预期列定义 data = [ {'foo': 'foo_value', 'bar': {'1': 'bar1', '2': 'bar2'}}, {'foo': 'foo_value_2'} ] desired_columns = ['foo', 'bar.1', 'bar.2', 'nodata.1', 'nodata.2'] # 第一步:执行JSON规范化 df = pd.json_normalize(data) # 第二步:按指定列重索引,缺失列自动补NaN df = df.reindex(columns=desired_columns) print(df)
输出结果:
foo bar.1 bar.2 nodata.1 nodata.2 0 foo_value bar1 bar2 NaN NaN 1 foo_value_2 NaN NaN NaN NaN
替代方案(适配嵌套Schema定义场景)
如果不想手动拼接展开后的点分隔列名,可以预先构造一个包含所有预期字段的模板字典,混入原始数据后再做规范化,最后删除模板对应的行即可:
import pandas as pd data = [ {'foo': 'foo_value', 'bar': {'1': 'bar1', '2': 'bar2'}}, {'foo': 'foo_value_2'} ] # 嵌套结构定义全量Schema模板 template = { 'foo': None, 'bar': {'1': None, '2': None}, 'nodata': {'1': None, '2': None} } # 模板混入数据后做规范化 df = pd.json_normalize([template] + data) # 删除模板对应的第一行,重置索引 df = df.drop(0).reset_index(drop=True)
内容的提问来源于stack exchange,提问作者William
相关产品推荐
相关产品推荐

