HTTPx network_stream读取指定字节数不符预期且引发连接重置问题

核心原因 #

httpx提供的network_stream是底层网络流实现，它的read方法并非像普通文件流那样支持一次性读取任意大的字节数：

• 单次读取的上限由httpcore内部缓冲区配置决定（你遇到的112704字节就是这个缓冲区的默认上限）。
• 当尝试读取超过该上限的字节数时，底层连接会被强制终止，进而触发服务器端的ConnectionResetError。

正确的流处理方案 #

推荐使用httpx上层封装的流处理API，而非直接操作底层的network_stream：

方案1：逐块迭代处理内容 #

from httpx import stream

with stream('GET', 'http://127.0.0.1:5689/x86/fish/1.0.1.gmf') as req:
    total_read = 0
    # 可自定义分块大小，比如1MB
    for chunk in req.iter_bytes(chunk_size=1024*1024):
        total_read += len(chunk)
        # 这里添加对chunk的业务处理，比如写入文件
    print(f"总读取字节数：{total_read}")

方案2：一次性读取全部内容 #

如果不需要逐块处理，可直接调用read()方法获取完整响应：

from httpx import stream

with stream('GET', 'http://127.0.0.1:5689/x86/fish/1.0.1.gmf') as req:
    content = req.read()
    print(f"总读取字节数：{len(content)}")

关于network_stream的注意事项 #

network_stream属于httpx的内部底层组件，官方文档并未推荐直接用它处理业务逻辑。它的设计目标是供httpx内部处理HTTP协议细节（比如分块传输解码、连接管理），没有封装完整的流读取容错逻辑，直接操作容易出现异常。

若必须操作底层流的兼容写法 #

如果因特殊需求必须使用network_stream，需通过循环读取直到返回空字节：

from httpx import stream

with stream('GET', 'http://127.0.0.1:5689/x86/fish/1.0.1.gmf') as req:
    net_stream = req.extensions["network_stream"]
    total_read = 0
    while True:
        chunk = net_stream.read(1024*1024)
        if not chunk:
            break
        total_read += len(chunk)
        # 处理chunk
    print(f"总读取字节数：{total_read}")

此方式跳过了httpx上层的HTTP协议处理，仅建议在明确知晓底层细节的场景下使用。

内容的提问来源于stack exchange，提问作者Xandaaah