用json_normalize解析OpenWeather响应生成DataFrame及报错解决
OpenWeather API嵌套数据用
json_normalize规整的正确实现方案 之前报错的核心原因
- 路径层级错位:当你以嵌套的
weather列表作为record_path时,json_normalize会将这个路径下的每个列表元素作为独立行,此时在meta参数中指定的snow、dt等平行字段,需要匹配相对于record_path起点的相对路径,而非全局响应根节点的路径。多数人写meta时直接使用全局路径,导致json_normalize完全找不到目标字段,即便配置了errors='ignore',也无法兜住这类路径完全错位的问题,最终抛出KeyError。 - 过度依赖列表展开:OpenWeather接口的
daily数组下,每个条目的weather列表长度固定为1,根本不需要把列表展开为多行,反而人为增加了参数配置的复杂度。
最简洁的实现方案(适配OpenWeather接口结构特点)
这种方案完全绕开嵌套列表展开的配置坑,执行稳定性最高,不需要拆分数据片段反复处理:
- 第一步,先提取接口返回的
daily数组,做轻量预处理:- 把每个条目下
weather列表的单个核心元素拆平到条目根层级 - 对时有时无的
snow、rain字段,提前统一填充NaN默认值,从根源避免缺失字段报错
- 把每个条目下
- 第二步,直接对预处理后的数组做归一化,无需复杂的
record_path配置
示例代码:
import pandas as pd import numpy as np # resp 为OpenWeather API返回的原始响应字典 daily_items = resp["daily"] # 预处理环节 for item in daily_items: # 拆分固定长度为1的weather列表 weather_detail = item["weather"][0] item["weather_main"] = weather_detail["main"] item["weather_desc"] = weather_detail["description"] item["weather_icon"] = weather_detail["icon"] # 提前补全缺失的可选字段 if "snow" not in item: item["snow"] = np.nan if "rain" not in item: item["rain"] = np.nan # 归一化生成规整表格 weather_df = pd.json_normalize( daily_items, meta=[ "dt", "sunrise", "sunset", "humidity", "wind_speed", "snow", # 嵌套字段用点分隔即可识别 "temp.day", "temp.min", "temp.max", "temp.night", "feels_like.day", "feels_like.night" ] )
需展开weather为多行时的正确参数配置
如果确实需要将weather列表展开为多行(如特殊场景下出现多标签天气),按以下规则配置参数即可正常运行:
- 把
daily数组作为处理的根输入,不要直接传入整个接口响应 record_path直接指定同层级下的weather列表- 所有和
weather平行的元数据字段,直接写相对于当前根节点(即daily条目)的路径即可 - 此时配置
errors='ignore'才会真正生效,遇到缺失的snow字段会自动填充NaN
示例代码:
weather_df = pd.json_normalize( resp["daily"], record_path="weather", meta=[ # 和weather同层级的字段直接写路径 "dt", "sunrise", "sunset", "humidity", "wind_speed", "snow", # 嵌套字段用列表形式指定路径层级 ["temp", "day"], ["temp", "min"], ["temp", "max"], ["feels_like", "day"] ], errors="ignore" )
常见踩坑提醒
- 不要把整个接口响应作为
json_normalize的输入再写长路径,优先摘出目标层级的数组(如daily)单独处理,能减少80%的路径错位问题 errors='ignore'仅对“某条记录下存在但指定路径缺失”的场景生效,不会自动纠正层级写错的路径,这类问题必须通过路径匹配修正- 对接口中时有时无的可选字段(如
snow、rain),优先在预处理阶段补全默认值,比完全依赖参数兜底的稳定性更高
内容的提问来源于stack exchange,提问作者Jakub
相关产品推荐
相关产品推荐

