为何Python的io.BytesIO在数据量增大时性能急剧下降？

我之前也碰到过类似的场景，结合你的环境（Python 3.5.5 + Bottle 0.12.13），这个慢速度的问题大概率是**BytesIO.getvalue()处理大内存缓冲区时的性能瓶颈**导致的，给你拆解下原因和解决方案：

问题根源 #

当你发送包含多个文件字节编码的JSON时，整个请求体的体积会变得非常大。BytesIO.getvalue()的工作原理是一次性将缓冲区里的所有内容复制到一个新的字节串中，这个操作在数据量小时几乎无感，但数据量达到几十MB甚至几百MB时，会瞬间占用大量内存，同时CPU要处理巨量数据的复制，直接拖慢整个服务的响应速度。

而且Python 3.5.x的BytesIO实现相比后续版本（3.7+）在内存管理和数据复制上的优化更少，雪上加霜。

解决方案 #

根据你的需求，我推荐几个优先级从高到低的方案：

1. 改用标准的多文件上传方式（最推荐）

放弃用JSON嵌套文件字节的方式，改用HTTP标准的multipart/form-data格式上传文件，Bottle原生支持这种方式，处理效率高很多，还能避免大JSON解析的问题：

from bottle import post, request

@post('/upload-files')
def handle_multipart_upload():
    # 遍历所有上传的文件
    for file_field_name, file_obj in request.files.items():
        # 直接读取文件内容（流式读取，不会一次性加载到内存）
        file_content = file_obj.file.read()
        # 这里加入你的文件处理逻辑，比如保存到磁盘/解析内容等
        print(f"处理文件: {file_obj.filename}, 大小: {len(file_content)} bytes")
    return {"status": "success", "message": "所有文件处理完成"}

这种方式不仅性能更好，还符合HTTP规范，客户端实现也更通用（比如用Postman、curl都能轻松测试）。

2. 流式解析JSON，避免一次性读取整个请求体

如果必须要用JSON格式传输，可以用流式JSON解析库（比如ijson），边读取请求体边解析，不用把整个大JSON加载到内存中：
首先安装依赖：

pip install ijson

然后修改你的Bottle路由逻辑：

from bottle import post, request
import ijson

@post('/upload-json')
def handle_json_upload():
    # 流式解析JSON，逐块处理
    parser = ijson.parse(request.body)
    current_file = {}
    for prefix, event, value in parser:
        # 假设你的JSON结构是 {"files": [{"name": "file1.txt", "data": "base64编码的字节串"}, ...]}
        if prefix == "files.item.name" and event == "string":
            current_file["name"] = value
        elif prefix == "files.item.data" and event == "string":
            current_file["data"] = value
            # 这里处理单个文件的数据
            print(f"处理文件: {current_file['name']}, 数据长度: {len(current_file['data'])}")
            current_file = {}
    return {"status": "success"}

这种方式不会一次性调用getvalue()读取整个请求体，而是边读边解析，内存占用会大幅降低，速度自然就上去了。

3. 升级Python和Bottle版本（长期优化）

Python 3.5已经停止维护了，后续版本（比如3.7+）对io模块做了很多性能优化，包括BytesIO的内存复制逻辑。同时Bottle 0.12.x也是比较老的版本，新版本对请求处理的效率也有提升。如果业务允许，建议升级到Python 3.8+和最新的Bottle稳定版，能从底层解决这类性能问题。

额外小提示 #

如果你的文件字节是用base64编码的，本身会让数据体积增加约30%，如果可以的话，也可以考虑在客户端用更高效的编码方式（不过JSON本身不支持二进制，这条主要是针对客户端优化）。

内容的提问来源于stack exchange，提问作者Ido Loebl