如何通过Django StreamingHttpResponse实现PostgreSQL数据流式传输至HTTP请求

你的思路方向是对的，但之前的代码存在核心问题：cursor.copy_expert不会返回可迭代的数据，它仅会将数据库输出写入你传入的Echo对象，而StreamingHttpResponse需要接收一个可迭代的生成器来逐块输出内容。

要实现一次数据库请求完成全程流式传输，可以通过队列+多线程的方式，让数据库查询线程将数据写入队列，响应生成器从队列中逐块取出数据并返回给客户端：

import queue
import threading
from django.http import StreamingHttpResponse
from django.db import connection
from django.db.models import sql

def stream(request):
    # 创建队列用于传递数据库输出的数据块，设置最大长度避免内存溢出
    data_queue = queue.Queue(maxsize=10)

    class QueueWriter:
        """适配COPY TO STDOUT的写入类，将数据存入队列"""
        def write(self, data):
            data_queue.put(data)
        
        def close(self):
            # 写入结束标记，告知生成器停止迭代
            data_queue.put(None)

    def fetch_db_data():
        """后台线程执行数据库COPY操作，避免阻塞响应流程"""
        sql_query = sql.SQL("COPY (select * from table) TO STDOUT WITH CSV HEADER")
        with connection.cursor() as cursor:
            cursor.copy_expert(sql_query, QueueWriter())

    # 启动后台线程执行数据库查询
    threading.Thread(target=fetch_db_data).start()

    def stream_response():
        """响应生成器，从队列取数据并逐块返回给客户端"""
        while True:
            chunk = data_queue.get()
            if chunk is None:
                break
            yield chunk

    # 构建流式响应
    response = StreamingHttpResponse(stream_response(), content_type="text/csv")
    response["Content-Disposition"] = 'attachment; filename="somefilename.csv"'
    return response

工作逻辑 #

1. QueueWriter类：实现write方法，将PostgreSQL通过COPY输出的每块数据存入队列，操作完成后写入结束标记None。
2. 后台查询线程：单独启动线程执行copy_expert，避免数据库查询的IO操作阻塞主线程的响应流程。
3. 响应生成器：不断从队列中取出数据块，逐块返回给StreamingHttpResponse，实现数据从数据库到客户端的流式传输。

这种方式仅需一次数据库请求，全程无需在服务器端缓存完整数据集，完美适配超大文件的下载场景。

内容的提问来源于stack exchange，提问作者Istopopoki