You need to enable JavaScript to run this app. 如何处理requests流式请求返回的含base64图片的JSON响应数据
优惠活动
大模型
产品
解决方案
定价
更多

如何处理requests流式请求返回的含base64图片的JSON响应数据

大文件场景下流式获取JSON内嵌base64文件的正确方案

问题根源

你当前的报错和不稳定问题来自两个核心错误实现:

  • 粗暴拆分JSON字符串的逻辑不可靠:如果chunk刚好切在file关键字、引号、括号的中间,会导致提取的base64片段不完整或者混入JSON结构字符
  • 单chunk独立解码base64不符合编码规则:base64是按4个字符为一组对应3个原始字节设计,跨chunk的4字符组被拆分后单独补padding解码,必然会出现padding错误或者内容损坏

解决方案

方案1:优先调整服务端实现(性能最优)

不要把大文件的base64内嵌到JSON结构中返回,服务端直接返回二进制文件流,自定义header存放文件名、校验码等元数据,客户端直接流式写入本地文件即可,完全规避base64编解码的性能损耗和拆分问题。

方案2:服务端不可修改的客户端兼容实现

核心思路是先流式定位JSON中file字段的内容边界,再用增量解码器连续处理base64内容,不要拆分单chunk独立解码:

import os
import requests
import codecs

file_path = r"G:\Python_logo_and_wordmark.svg.png"
if os.path.isfile(file_path):
    os.remove(file_path)

# 状态标记:是否已经找到file字段的内容起始位置
find_file_start = False
# 状态标记:是否已经读取完file字段的所有内容
find_file_end = False
# 临时缓存未处理的字符片段(用于处理跨chunk的关键字、base64分组)
buffer = ""
# base64增量解码器,自动处理跨chunk的字符分组
base64_decoder = codecs.getincrementaldecoder('base64')()

r = requests.post(url=my_url, json=my_data, stream=True)

with open(file_path, "ab") as f:
    for chunk in r.iter_content(chunk_size=1024):
        if not chunk:
            continue
        # 转成ascii字符串,JSON和base64都是ascii兼容的
        chunk_str = chunk.decode("ascii")
        buffer += chunk_str
        
        if not find_file_start:
            # 先找file字段的起始标记:"file":"
            file_start_flag = '"file":"'
            if file_start_flag in buffer:
                # 分割出file字段开始后的内容
                _, buffer = buffer.split(file_start_flag, 1)
                find_file_start = True
            else:
                # 没找到标记,保留最后len(file_start_flag)-1个字符,避免跨chunk截断标记
                buffer = buffer[-len(file_start_flag)+1:]
                continue
        
        if find_file_start and not find_file_end:
            # 找file字段的结束引号,注意JSON字符串里的引号会被转义成\",所以要排除转义的引号
            while '"' in buffer:
                quote_idx = buffer.index('"')
                # 检查引号是不是转义的
                if quote_idx > 0 and buffer[quote_idx-1] == '\\':
                    # 是转义引号,移除转义符,跳过这个引号
                    buffer = buffer[:quote_idx-1] + buffer[quote_idx:]
                else:
                    # 找到真正的结束引号,分割出所有base64内容
                    base64_part = buffer[:quote_idx]
                    buffer = buffer[quote_idx+1:]
                    find_file_end = True
                    break
            else:
                # 没找到结束引号,取除了最后1个字符的部分解码(最后1个可能是转义符的一半)
                base64_part = buffer[:-1]
                buffer = buffer[-1:]
            
            # 增量解码base64,写入文件
            if base64_part:
                decoded = base64_decoder.decode(base64_part.encode("ascii"))
                f.write(decoded)
        
        # 已经读完所有file内容,直接退出循环
        if find_file_end:
            # 处理剩余的base64缓存
            decoded = base64_decoder.decode(b'', final=True)
            f.write(decoded)
            break

额外优化建议

  • chunk_size不要设太小,64字节会导致大量IO操作,建议设为1024或4096
  • 可以提前解析success字段判断请求是否合法,避免请求失败时依然做无用的解码操作

内容的提问来源于stack exchange,提问作者NoobCat

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 12:42:04