使用HTTP/1.1时Mock S3服务器卡顿问题求助

你遇到的问题大概率和HTTP/1.1的**持久连接（Keep-Alive）**特性，以及Mock服务器对Range请求的响应规范有关。HTTP/1.0默认是短连接，请求完成后就关闭；但HTTP/1.1默认开启Keep-Alive，客户端会复用连接发送后续请求，如果Mock服务器没有正确处理这种连接复用，或者响应不符合S3的HTTP规范，就会导致Boto的S3Transfer客户端陷入等待，最终挂起。

下面是具体的排查和修复方向：

1. 严格遵循S3的Range请求响应规范 #

S3的分片下载依赖Range请求头，Mock服务器必须返回206 Partial Content状态码，同时附带正确的Content-Range和Content-Length头。如果这些头缺失或错误，Boto客户端会无法正确识别分片是否完成，进而阻塞等待。

示例修复后的do_GET方法片段：

def do_GET(self):
    # 模拟的文件内容，替换成你测试用的100MB数据
    self.mock_file_content = b'x' * 1024 * 1024 * 100

    range_header = self.headers.get('Range')
    if range_header:
        # 解析Range头，格式类似 "bytes=0-8388607"
        start, end = map(int, range_header.split('=')[1].split('-'))
        # 截取对应分片的内容
        chunk_content = self.mock_file_content[start:end+1]
        
        # 返回206部分内容状态码
        self.send_response(206)
        # 关键响应头：告知客户端当前分片的范围和总文件大小
        self.send_header('Content-Range', f'bytes {start}-{end}/{len(self.mock_file_content)}')
        self.send_header('Content-Length', str(len(chunk_content)))
        self.send_header('Accept-Ranges', 'bytes')
        # 强制关闭连接，避免HTTP/1.1持久连接导致的等待
        self.send_header('Connection', 'close')
        self.end_headers()
        # 写入分片内容
        self.wfile.write(chunk_content)
    else:
        # 处理完整文件请求（可选）
        self.send_response(200)
        self.send_header('Content-Length', str(len(self.mock_file_content)))
        self.send_header('Connection', 'close')
        self.end_headers()
        self.wfile.write(self.mock_file_content)

2. 处理HTTP/1.1的持久连接问题 #

HTTP/1.1默认会复用连接，但http.server.HTTPServer的默认处理逻辑在测试场景下可能无法正确响应后续请求，导致客户端等待。有两种解决方式：

• 强制关闭连接：在响应头中添加Connection: close，让客户端每次请求后关闭连接，回到类似HTTP/1.0的短连接模式（这是测试场景下最快捷的修复方式）。
• 完整支持Keep-Alive：如果想完全模拟真实S3的持久连接行为，需要确保Mock服务器在处理完一个请求后保持连接打开，并能正确接收下一个请求。BaseHTTPRequestHandler本身支持Keep-Alive，但需要在响应头中添加Keep-Alive: timeout=5, max=100这类字段，同时确保服务器没有意外终止连接。

3. 确保响应内容的完整性 #

要保证每个分片的响应内容长度和Content-Length头声明的完全一致，不能有截断或多发送数据。如果客户端收到的内容长度和头中声明的不符，会一直等待剩余数据，导致挂起。

4. 模拟S3的其他关键响应头（可选） #

添加一些S3常用的响应头，让Mock服务器的行为更接近真实S3，减少客户端的兼容性问题：

self.send_header('ETag', '"mock-etag-abc123"')
self.send_header('Last-Modified', 'Wed, 21 Oct 2015 07:28:00 GMT')
self.send_header('Content-Type', 'binary/octet-stream')

通过以上调整，你的Mock S3服务器应该能在HTTP/1.1下正常处理Boto的分片下载请求，避免挂起问题。

内容的提问来源于stack exchange，提问作者Michal Charemza