You need to enable JavaScript to run this app. 用json_normalize解析OpenWeather响应生成DataFrame及报错解决
优惠活动
大模型
产品
解决方案
定价
更多

用json_normalize解析OpenWeather响应生成DataFrame及报错解决

OpenWeather API嵌套数据用json_normalize规整的正确实现方案

之前报错的核心原因

  • 路径层级错位:当你以嵌套的weather列表作为record_path时,json_normalize会将这个路径下的每个列表元素作为独立行,此时在meta参数中指定的snow、dt等平行字段,需要匹配相对于record_path起点的相对路径,而非全局响应根节点的路径。多数人写meta时直接使用全局路径,导致json_normalize完全找不到目标字段,即便配置了errors='ignore',也无法兜住这类路径完全错位的问题,最终抛出KeyError。
  • 过度依赖列表展开:OpenWeather接口的daily数组下,每个条目的weather列表长度固定为1,根本不需要把列表展开为多行,反而人为增加了参数配置的复杂度。

最简洁的实现方案(适配OpenWeather接口结构特点)

这种方案完全绕开嵌套列表展开的配置坑,执行稳定性最高,不需要拆分数据片段反复处理:

  • 第一步,先提取接口返回的daily数组,做轻量预处理:
    • 把每个条目下weather列表的单个核心元素拆平到条目根层级
    • 对时有时无的snow、rain字段,提前统一填充NaN默认值,从根源避免缺失字段报错
  • 第二步,直接对预处理后的数组做归一化,无需复杂的record_path配置

示例代码:

import pandas as pd
import numpy as np

# resp 为OpenWeather API返回的原始响应字典
daily_items = resp["daily"]

# 预处理环节
for item in daily_items:
    # 拆分固定长度为1的weather列表
    weather_detail = item["weather"][0]
    item["weather_main"] = weather_detail["main"]
    item["weather_desc"] = weather_detail["description"]
    item["weather_icon"] = weather_detail["icon"]
    # 提前补全缺失的可选字段
    if "snow" not in item:
        item["snow"] = np.nan
    if "rain" not in item:
        item["rain"] = np.nan

# 归一化生成规整表格
weather_df = pd.json_normalize(
    daily_items,
    meta=[
        "dt", "sunrise", "sunset", "humidity", "wind_speed", "snow",
        # 嵌套字段用点分隔即可识别
        "temp.day", "temp.min", "temp.max", "temp.night",
        "feels_like.day", "feels_like.night"
    ]
)

需展开weather为多行时的正确参数配置

如果确实需要将weather列表展开为多行(如特殊场景下出现多标签天气),按以下规则配置参数即可正常运行:

  • 把daily数组作为处理的根输入,不要直接传入整个接口响应
  • record_path直接指定同层级下的weather列表
  • 所有和weather平行的元数据字段,直接写相对于当前根节点(即daily条目)的路径即可
  • 此时配置errors='ignore'才会真正生效,遇到缺失的snow字段会自动填充NaN

示例代码:

weather_df = pd.json_normalize(
    resp["daily"],
    record_path="weather",
    meta=[
        # 和weather同层级的字段直接写路径
        "dt", "sunrise", "sunset", "humidity", "wind_speed", "snow",
        # 嵌套字段用列表形式指定路径层级
        ["temp", "day"], ["temp", "min"], ["temp", "max"],
        ["feels_like", "day"]
    ],
    errors="ignore"
)

常见踩坑提醒

  • 不要把整个接口响应作为json_normalize的输入再写长路径,优先摘出目标层级的数组(如daily)单独处理,能减少80%的路径错位问题
  • errors='ignore'仅对“某条记录下存在但指定路径缺失”的场景生效,不会自动纠正层级写错的路径,这类问题必须通过路径匹配修正
  • 对接口中时有时无的可选字段(如snow、rain),优先在预处理阶段补全默认值,比完全依赖参数兜底的稳定性更高

内容的提问来源于stack exchange,提问作者Jakub

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 21:36:04