Django中如何按固定间隔将队列中的投票数据保存至数据库？

嘿，我来帮你搞定这个Django里用队列批量存投票数据的事儿！按照你的要求，我给你梳理清楚初始化队列和启动后台线程的具体步骤，完全贴合你的需求~

一、初始化队列与启动线程：用AppConfig #

Django应用启动时，AppConfig的ready()方法是初始化全局队列和启动后台线程的最佳位置——它会在应用加载完成后执行，能保证全局唯一的队列实例，不会重复创建。

1. 修改你的app的apps.py #

假设你的调查应用叫polls，编辑polls/apps.py：

from django.apps import AppConfig
from queue import Queue
import threading
import time
from django.db import close_old_connections
from .models import Vote  # 导入你的投票模型

# 全局队列实例，所有视图都可以直接访问
vote_queue = Queue()

def batch_save_votes():
    while True:
        # 每隔1分钟执行一次批量保存操作
        time.sleep(60)
        # 处理数据库连接：避免线程长时间闲置导致连接失效
        close_old_connections()
        
        votes_to_save = []
        # 一次性取出队列中所有待保存的投票数据
        while not vote_queue.empty():
            vote_data = vote_queue.get()
            votes_to_save.append(Vote(**vote_data))
            # 标记队列任务完成（可选，用于后续队列的join()操作）
            vote_queue.task_done()
        
        # 批量写入数据库，减少I/O开销
        if votes_to_save:
            Vote.objects.bulk_create(votes_to_save, batch_size=100)  # batch_size可根据数据量调整

class PollsConfig(AppConfig):
    default_auto_field = 'django.db.models.BigAutoField'
    name = 'polls'
    
    def ready(self):
        # 防止开发模式下runserver重复加载应用导致线程启动多次
        if threading.current_thread().name == 'MainThread':
            # 启动后台守护线程：主进程退出时线程自动结束，避免残留进程
            save_thread = threading.Thread(target=batch_save_votes, daemon=True)
            save_thread.start()

2. 配置应用使用自定义AppConfig #

在你的app的__init__.py文件中添加一行，告诉Django使用我们刚才定义的配置：

default_app_config = 'polls.apps.PollsConfig'

二、视图中使用队列存储投票数据 #

现在你可以把原来直接保存数据库的逻辑，改成将投票数据放入队列：

from django.shortcuts import redirect
from .apps import vote_queue
from .forms import VoteForm  # 假设你有处理投票的表单

def vote_submit(request):
    if request.method == 'POST':
        form = VoteForm(request.POST)
        if form.is_valid():
            # 提取表单验证后的干净数据，转为字典格式
            vote_data = form.cleaned_data
            # 将数据放入全局队列，等待批量保存
            vote_queue.put(vote_data)
            return redirect('poll_success')  # 跳转到投票成功页面
    # GET请求或表单验证失败的逻辑
    # ...

三、关键细节提醒 #

• 线程守护属性：设置daemon=True很重要，确保Django主进程退出时，后台线程会自动终止，不会留下僵尸进程。
• 数据库连接维护：线程休眠1分钟后，数据库连接可能已失效，调用close_old_connections()可以让Django重新建立有效连接。
• 批量保存效率：bulk_create比逐个调用save()效率高得多，建议根据你的数据量调整batch_size参数。

内容的提问来源于stack exchange，提问作者Renato Melo