如何使用Dask加载HTTP接口JSON生成DataFrame用于Dash实时绘图

Dask读取HTTP接口JSON异常问题解决 #

错误原因 #

1. db.read_text 卡死的核心原因：该方法默认针对大文件做分块读取，普通HTTP接口不支持Range范围请求，Dask尝试分块拉取时只会拿到不完整的响应，最终导致无响应或解析失败。
2. dd.read_json 报错的原因：该方法默认期望输入为每行一个独立JSON对象的JSON Lines格式，你调用的接口返回的是单个完整JSON数组，不符合默认解析规则，同时接口返回的JSON结构外层为数组，实际时序数据存储在data字段内，也和dd.read_json的默认列解析逻辑不匹配，你猜测的JSON包含meta和data字段确实是报错原因之一。

解决方案 #

如果单批次拉取的数据量不大（实时监控场景单接口返回的数据通常不会太大），建议先通过普通HTTP请求拉取数据后再转成DataFrame，需要使用Dask做后续处理的话再从Pandas转换即可，示例代码如下：

import requests
import pandas as pd
import dask.dataframe as dd

# 拉取接口数据
response = requests.get("http://aav.rz-berlin.mpg.de:17668/retrieval/data/getData.json?pv=FHIMP%3AHeDrop%3AForepressure_Droplet_Src")
response.raise_for_status()
raw_json = response.json()

# 提取data字段转换为Pandas DataFrame
df = pd.DataFrame(raw_json[0]["data"])
# 若需要Dask DataFrame做后续分布式处理，可转换格式
dask_df = dd.from_pandas(df, npartitions=1)

技术选型合理性说明 #

• 你的选型逻辑合理：Dash负责前端可视化、交互和Web服务搭建，非常适配实时监控类应用的需求，Dask承担后端数据处理角色，在数据量大、需要做复杂聚合、跨时间段统计等场景下可以很好的支撑运算需求。
• 无大规模数据运算需求时不需要单独部署Dask服务：如果你的API返回的单批次数据量较小，没有超过单机内存的历史数据处理需求，直接用Pandas处理数据后喂给Dash即可，即使要使用Dask的能力，本地模式也可以直接运行，不需要额外部署集群服务。
• 仅在需要分布式运算时部署Dask服务：当后续需要对接多设备全量历史数据、做大规模数据统计、单批次数据量超过单机内存上限时，再部署Dask集群即可。

内容的提问来源于stack exchange，提问作者nicenoize