如何在Django-MySQL中自动删除3个月以上的电池数据

针对你的传感器数据存储需求，我整理了几个在Django+MySQL环境下实用的方案，既能满足数据留存策略，又能有效节省磁盘空间，尤其适合多节点部署的场景：

方案1：数据库层面定时清理（MySQL事件调度器） #

这是最轻量化的方案，直接在MySQL中配置定时事件，自动删除超过3个月的电池电量数据，不需要依赖Django的任务调度系统。

步骤：

1. 首先确保MySQL的事件调度器已开启：

SET GLOBAL event_scheduler = ON;

（可以把这个配置写入my.cnf，避免重启后失效：event_scheduler = ON）

2. 创建定时清理事件，比如每天凌晨1点执行一次：

CREATE EVENT delete_old_battery_data
ON SCHEDULE EVERY 1 DAY
STARTS DATE_ADD(CURDATE(), INTERVAL 1 HOUR)
DO
-- 假设你的传感器数据表名为 `your_app_sensordata`，采集时间字段为 `created_at`
DELETE FROM your_app_sensordata 
WHERE created_at < DATE_SUB(CURDATE(), INTERVAL 3 MONTH);
-- 如果是分表存储（见方案3），则删除电池表的旧数据
-- DELETE FROM your_app_sensorbatterydata 
-- WHERE env_data_id IN (SELECT id FROM your_app_sensorenvdata WHERE created_at < DATE_SUB(CURDATE(), INTERVAL 3 MONTH));

方案2：Django定时任务（Celery + Beat） #

如果你更倾向于用Django生态内的工具来管理任务，可以用Celery Beat来实现定时清理，适合已经在使用Celery的项目。

步骤：

1. 确保你的项目已经配置好Celery和Celery Beat。
2. 在tasks.py中定义清理任务：

from celery import shared_task
from django.utils import timezone
from datetime import timedelta
from your_app.models import SensorData

@shared_task
def clean_old_battery_records():
    # 计算3个月前的时间点
    cutoff_date = timezone.now() - timedelta(days=90)
    # 如果你不想删除整条记录，可选择将battery_level设为NULL
    SensorData.objects.filter(created_at__lt=cutoff_date).update(battery_level=None)
    # 如果是分表存储，则直接删除电池表的旧记录：
    # from your_app.models import SensorBatteryData
    # SensorBatteryData.objects.filter(env_data__created_at__lt=cutoff_date).delete()

3. 在Celery Beat的配置中添加定时任务（比如settings.py）：

CELERY_BEAT_SCHEDULE = {
    'clean-old-battery-data': {
        'task': 'your_app.tasks.clean_old_battery_records',
        'schedule': timedelta(days=1),  # 每天执行一次
        'args': (),
    },
}

方案3：分表存储（环境数据与电池数据分离） #

如果你的传感器数据量很大，多节点部署后磁盘占用增长明显，推荐把环境数据（温度、pH）和电池数据分开存储，这样清理旧数据时不会影响永久保留的环境数据，查询效率也更高。

Django模型设计示例：

from django.db import models

# 永久存储的环境数据表
class SensorEnvData(models.Model):
    node_id = models.CharField(max_length=50, verbose_name="传感器节点ID")
    temperature = models.FloatField(verbose_name="温度")
    ph_value = models.FloatField(verbose_name="pH值")
    created_at = models.DateTimeField(auto_now_add=True, verbose_name="采集时间")

    class Meta:
        indexes = [
            models.Index(fields=['node_id', 'created_at']),  # 给节点ID和时间加索引，提升查询效率
        ]

# 仅保留3个月的电池数据表
class SensorBatteryData(models.Model):
    env_data = models.OneToOneField(
        SensorEnvData, 
        on_delete=models.CASCADE, 
        verbose_name="关联环境数据",
        related_name="battery_data"
    )
    battery_level = models.FloatField(verbose_name="电池电量")

    class Meta:
        indexes = [
            models.Index(fields=['env_data__created_at']),  # 按关联的环境数据时间加索引，方便清理
        ]

数据传输时，先创建SensorEnvData记录，再关联创建SensorBatteryData记录。后续清理时，直接删除SensorBatteryData中超过3个月的记录即可，完全不影响环境数据的存储。

额外优化建议 #

• 清理任务尽量安排在业务低峰期（比如凌晨），避免对正常数据写入/查询造成影响
• 第一次执行清理任务前，建议先备份数据，防止误删
• 对于超大规模的数据集，可以考虑MySQL的分区表功能，按月份对电池数据表进行分区，每3个月直接删除最老的分区，比逐行删除效率高几个数量级
• 定期监控数据库磁盘占用情况，根据实际节点数量和数据量调整清理频率（比如如果节点很多，也可以改成每周清理一次）

内容的提问来源于stack exchange，提问作者aaronlhe