如何处理requests流式请求返回的含base64图片的JSON响应数据
大文件场景下流式获取JSON内嵌base64文件的正确方案
问题根源
你当前的报错和不稳定问题来自两个核心错误实现:
- 粗暴拆分JSON字符串的逻辑不可靠:如果chunk刚好切在
file关键字、引号、括号的中间,会导致提取的base64片段不完整或者混入JSON结构字符 - 单chunk独立解码base64不符合编码规则:base64是按4个字符为一组对应3个原始字节设计,跨chunk的4字符组被拆分后单独补padding解码,必然会出现padding错误或者内容损坏
解决方案
方案1:优先调整服务端实现(性能最优)
不要把大文件的base64内嵌到JSON结构中返回,服务端直接返回二进制文件流,自定义header存放文件名、校验码等元数据,客户端直接流式写入本地文件即可,完全规避base64编解码的性能损耗和拆分问题。
方案2:服务端不可修改的客户端兼容实现
核心思路是先流式定位JSON中file字段的内容边界,再用增量解码器连续处理base64内容,不要拆分单chunk独立解码:
import os import requests import codecs file_path = r"G:\Python_logo_and_wordmark.svg.png" if os.path.isfile(file_path): os.remove(file_path) # 状态标记:是否已经找到file字段的内容起始位置 find_file_start = False # 状态标记:是否已经读取完file字段的所有内容 find_file_end = False # 临时缓存未处理的字符片段(用于处理跨chunk的关键字、base64分组) buffer = "" # base64增量解码器,自动处理跨chunk的字符分组 base64_decoder = codecs.getincrementaldecoder('base64')() r = requests.post(url=my_url, json=my_data, stream=True) with open(file_path, "ab") as f: for chunk in r.iter_content(chunk_size=1024): if not chunk: continue # 转成ascii字符串,JSON和base64都是ascii兼容的 chunk_str = chunk.decode("ascii") buffer += chunk_str if not find_file_start: # 先找file字段的起始标记:"file":" file_start_flag = '"file":"' if file_start_flag in buffer: # 分割出file字段开始后的内容 _, buffer = buffer.split(file_start_flag, 1) find_file_start = True else: # 没找到标记,保留最后len(file_start_flag)-1个字符,避免跨chunk截断标记 buffer = buffer[-len(file_start_flag)+1:] continue if find_file_start and not find_file_end: # 找file字段的结束引号,注意JSON字符串里的引号会被转义成\",所以要排除转义的引号 while '"' in buffer: quote_idx = buffer.index('"') # 检查引号是不是转义的 if quote_idx > 0 and buffer[quote_idx-1] == '\\': # 是转义引号,移除转义符,跳过这个引号 buffer = buffer[:quote_idx-1] + buffer[quote_idx:] else: # 找到真正的结束引号,分割出所有base64内容 base64_part = buffer[:quote_idx] buffer = buffer[quote_idx+1:] find_file_end = True break else: # 没找到结束引号,取除了最后1个字符的部分解码(最后1个可能是转义符的一半) base64_part = buffer[:-1] buffer = buffer[-1:] # 增量解码base64,写入文件 if base64_part: decoded = base64_decoder.decode(base64_part.encode("ascii")) f.write(decoded) # 已经读完所有file内容,直接退出循环 if find_file_end: # 处理剩余的base64缓存 decoded = base64_decoder.decode(b'', final=True) f.write(decoded) break
额外优化建议
- chunk_size不要设太小,64字节会导致大量IO操作,建议设为1024或4096
- 可以提前解析
success字段判断请求是否合法,避免请求失败时依然做无用的解码操作
内容的提问来源于stack exchange,提问作者NoobCat
相关产品推荐
相关产品推荐

