You need to enable JavaScript to run this app. Python异步提取API全量数据存JSON的报错解决与大数据量处理咨询
优惠活动
大模型
产品
解决方案
定价
更多

Python异步提取API全量数据存JSON的报错解决与大数据量处理咨询

问题解决指南

报错排查:TypeError: 'ClientPayloadError' object is not subscriptable

这类报错一般由两个原因触发:

  • 代码逻辑错误:捕获aiohttp的请求异常时,直接对异常实例做字典式下标取值(比如写了except ClientPayloadError as e: print(e["msg"])),但ClientPayloadError是类实例对象,不支持下标访问,只能通过内置属性e.message、e.code或者str(e)获取错误信息。
  • 传输层异常:接口响应分片传输不完整、网络中断、响应包超过服务端限制触发截断,这类场景下不要强行解析响应为字典,需要为每个请求加带指数退避的重试逻辑,连续3次请求失败再记录错误日志,不要直接对异常对象做取值操作。

低内存逐页写入JSON的实现方案

传统实现会把所有分页的数据攒在内存列表中,最后一次性写入JSON文件,大体积全量数据会占满内存导致IDE进程崩溃。可以利用JSON数组的结构特性,边拉取边流式写入,全程不需要加载全量数据到内存:

  1. 第一次请求拉取第一页数据时,提前计算总数据量、总页数
  2. 提前打开目标JSON文件,先写入JSON数组的起始标记[,不提前加载任何业务数据
  3. 每拉取成功一页数据,直接将单条数据序列化后追加写入文件:非第一页的数据写入前先加逗号分隔符,保证JSON结构合法
  4. 全部分页拉取完成后,写入JSON数组的结束标记],关闭文件流

关键实现代码参考:

import aiohttp
import asyncio
import json

PAGE_SIZE = 1000
REQUEST_CONCURRENCY = 5
RETRY_TIMES = 3

async def fetch_full_data():
    # 初始化异步信号量,控制请求并发,避免触发接口限流
    sem = asyncio.Semaphore(REQUEST_CONCURRENCY)
    async with aiohttp.ClientSession() as session:
        # 拉取第一页,获取总数据量
        async with session.get("接口第一页请求地址") as resp:
            first_page = await resp.json()
            total_count = first_page["total"]
            total_pages = (total_count + PAGE_SIZE - 1) // PAGE_SIZE

            # 打开文件流,开始边拉边写
            with open("full_biz_data.json", "w", encoding="utf-8") as f:
                f.write("[")
                first_chunk_written = False

                # 写入第一页数据,避免重复请求
                for item in first_page["data"]:
                    if first_chunk_written:
                        f.write(",")
                    f.write(json.dumps(item, ensure_ascii=False))
                    first_chunk_written = True

                # 拉取剩余分页
                async def pull_target_page(page_num):
                    async with sem:
                        for retry in range(RETRY_TIMES):
                            try:
                                async with session.get(f"接口分页请求地址?page={page_num}&page_size={PAGE_SIZE}") as page_resp:
                                    page_content = await page_resp.json()
                                    for item in page_content["data"]:
                                        f.write(",")
                                        f.write(json.dumps(item, ensure_ascii=False))
                                    return
                            except Exception as e:
                                if retry == RETRY_TIMES - 1:
                                    # 重试耗尽后记录错误,不做异常对象的下标取值
                                    print(f"第{page_num}页拉取失败:{str(e)}")
                                # 指数退避等待重试
                                await asyncio.sleep(2 ** retry)

                # 并发调度所有分页请求
                tasks = [pull_target_page(p) for p in range(2, total_pages + 1)]
                await asyncio.gather(*tasks)
                # 写入数组结束标记,保证JSON结构合法
                f.write("]")

if __name__ == "__main__":
    asyncio.run(fetch_full_data())

全量API数据拉取的可选优化方案

  • 自适应分页大小:不要使用过小的分页(如每页10条)拉取数据,会导致请求数过多拉长整体耗时;也不要使用过大的分页(如每页10000条),避免单请求超时、响应包过大触发传输截断错误,一般选择500-2000条的分页大小即可平衡效率和稳定性。
  • 并发数控制:通过异步信号量限制并发请求数,通常5-10的并发即可达到较高拉取效率,不会触发接口的限流拦截,也不会给本地内存、带宽造成过大压力。
  • 断点续传:拉取过程中每完成一页,将已完成的页码写入临时状态文件,任务中断重启时自动跳过已拉取的页码,不需要从头重复拉取全量数据。
  • 传输层优化:请求头中添加Accept-Encoding: gzip字段,开启响应压缩,可将大体积JSON响应的传输体积降低60%-80%,大幅减少网络传输中断的概率。
  • 流式响应解析:替换一次性await resp.json()的解析方式,用aiohttp的流式读取接口逐块解析响应内容,进一步降低单请求的内存占用。

内容的提问来源于stack exchange,提问作者Luthor_

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 07:54:04