Python异步提取API全量数据存JSON的报错解决与大数据量处理咨询
问题解决指南
报错排查:TypeError: 'ClientPayloadError' object is not subscriptable
这类报错一般由两个原因触发:
- 代码逻辑错误:捕获aiohttp的请求异常时,直接对异常实例做字典式下标取值(比如写了
except ClientPayloadError as e: print(e["msg"])),但ClientPayloadError是类实例对象,不支持下标访问,只能通过内置属性e.message、e.code或者str(e)获取错误信息。 - 传输层异常:接口响应分片传输不完整、网络中断、响应包超过服务端限制触发截断,这类场景下不要强行解析响应为字典,需要为每个请求加带指数退避的重试逻辑,连续3次请求失败再记录错误日志,不要直接对异常对象做取值操作。
低内存逐页写入JSON的实现方案
传统实现会把所有分页的数据攒在内存列表中,最后一次性写入JSON文件,大体积全量数据会占满内存导致IDE进程崩溃。可以利用JSON数组的结构特性,边拉取边流式写入,全程不需要加载全量数据到内存:
- 第一次请求拉取第一页数据时,提前计算总数据量、总页数
- 提前打开目标JSON文件,先写入JSON数组的起始标记
[,不提前加载任何业务数据 - 每拉取成功一页数据,直接将单条数据序列化后追加写入文件:非第一页的数据写入前先加逗号分隔符,保证JSON结构合法
- 全部分页拉取完成后,写入JSON数组的结束标记
],关闭文件流
关键实现代码参考:
import aiohttp import asyncio import json PAGE_SIZE = 1000 REQUEST_CONCURRENCY = 5 RETRY_TIMES = 3 async def fetch_full_data(): # 初始化异步信号量,控制请求并发,避免触发接口限流 sem = asyncio.Semaphore(REQUEST_CONCURRENCY) async with aiohttp.ClientSession() as session: # 拉取第一页,获取总数据量 async with session.get("接口第一页请求地址") as resp: first_page = await resp.json() total_count = first_page["total"] total_pages = (total_count + PAGE_SIZE - 1) // PAGE_SIZE # 打开文件流,开始边拉边写 with open("full_biz_data.json", "w", encoding="utf-8") as f: f.write("[") first_chunk_written = False # 写入第一页数据,避免重复请求 for item in first_page["data"]: if first_chunk_written: f.write(",") f.write(json.dumps(item, ensure_ascii=False)) first_chunk_written = True # 拉取剩余分页 async def pull_target_page(page_num): async with sem: for retry in range(RETRY_TIMES): try: async with session.get(f"接口分页请求地址?page={page_num}&page_size={PAGE_SIZE}") as page_resp: page_content = await page_resp.json() for item in page_content["data"]: f.write(",") f.write(json.dumps(item, ensure_ascii=False)) return except Exception as e: if retry == RETRY_TIMES - 1: # 重试耗尽后记录错误,不做异常对象的下标取值 print(f"第{page_num}页拉取失败:{str(e)}") # 指数退避等待重试 await asyncio.sleep(2 ** retry) # 并发调度所有分页请求 tasks = [pull_target_page(p) for p in range(2, total_pages + 1)] await asyncio.gather(*tasks) # 写入数组结束标记,保证JSON结构合法 f.write("]") if __name__ == "__main__": asyncio.run(fetch_full_data())
全量API数据拉取的可选优化方案
- 自适应分页大小:不要使用过小的分页(如每页10条)拉取数据,会导致请求数过多拉长整体耗时;也不要使用过大的分页(如每页10000条),避免单请求超时、响应包过大触发传输截断错误,一般选择500-2000条的分页大小即可平衡效率和稳定性。
- 并发数控制:通过异步信号量限制并发请求数,通常5-10的并发即可达到较高拉取效率,不会触发接口的限流拦截,也不会给本地内存、带宽造成过大压力。
- 断点续传:拉取过程中每完成一页,将已完成的页码写入临时状态文件,任务中断重启时自动跳过已拉取的页码,不需要从头重复拉取全量数据。
- 传输层优化:请求头中添加
Accept-Encoding: gzip字段,开启响应压缩,可将大体积JSON响应的传输体积降低60%-80%,大幅减少网络传输中断的概率。 - 流式响应解析:替换一次性
await resp.json()的解析方式,用aiohttp的流式读取接口逐块解析响应内容,进一步降低单请求的内存占用。
内容的提问来源于stack exchange,提问作者Luthor_
相关产品推荐
相关产品推荐

