Python中如何通过gRPC正确非流式传输字节格式文件？

问题根源 #

你碰到的Received RST_STREAM错误码8，核心原因是请求消息体积超过了gRPC的默认大小限制。非流式gRPC默认的最大消息大小约为4MB，当你把文件内容塞进chunk字段后，整个请求包的大小超过这个阈值，服务器就会直接断开连接，返回CANCELLED错误。另外，如果读取文件时用了文本模式而非二进制模式，也可能导致数据格式混乱，触发类似错误。

正确的解决步骤 #

1. 调大gRPC的消息大小限制 #

客户端和服务器端都需要同步调整最大消息大小，否则大请求会被服务器拒绝。客户端配置示例：

import grpc

# 创建通道时指定最大发送/接收消息大小，这里设为100MB，可按需调整
channel = grpc.insecure_channel(
    '你的服务器地址:端口',
    options=[
        ('grpc.max_send_message_length', 100 * 1024 * 1024),
        ('grpc.max_receive_message_length', 100 * 1024 * 1024)
    ]
)
stub = 你的Proto模块.你的服务Stub(channel)

2. 用二进制模式正确读取文件 #

必须以rb模式读取文件，避免二进制文件（如图片、PDF）因文本编码损坏，或体积异常膨胀：

def get_file_chunk(file_path):
    with open(file_path, 'rb') as f:
        return f.read()  # 直接读取整个文件为二进制字节串

# 构造请求
request = 你的Proto模块.UploadFileRequest(
    filename="test.pdf",
    chunk=get_file_chunk("/你要传输的文件路径")
)

# 发起请求
try:
    response = stub.UploadFile(request)
    print("上传成功:", response)
except grpc.RpcError as e:
    print(f"错误信息: {e.code()} - {e.details()}")

3. 文件过大？换客户端流式传输更靠谱 #

如果文件远大于100MB，即使调大限制，一次性加载整个文件到内存也容易引发性能问题。这种情况建议改用客户端流式gRPC，把文件切成小块逐个发送：

def file_chunk_generator(file_path, chunk_size=1024*1024):  # 每块1MB
    with open(file_path, 'rb') as f:
        while chunk := f.read(chunk_size):
            yield 你的Proto模块.UploadFileStreamRequest(
                filename="test.pdf",
                chunk=chunk
            )

# 调用流式接口
response = stub.UploadFileStream(file_chunk_generator("/你要传输的文件路径"))

验证小技巧 #

• 先用几KB的小文件测试，确认逻辑无问题
• 检查服务器端是否同步配置了最大消息大小
• 确认文件读取模式为rb，不要误写成r

内容的提问来源于stack exchange，提问作者david