Django大型项目动态大数据缓存策略优化咨询

一、报表类多筛选条件+实时更新的缓存解决方案 #

1. 基于筛选条件生成唯一缓存键 #

将所有筛选参数（时间范围、分类、状态等）按固定顺序排序拼接，搭配报表标识生成唯一缓存Key，避免参数顺序不同导致缓存命中错误：

def get_report_cache_key(request):
    # 提取并排序GET参数，保证相同筛选组合生成一致Key
    sorted_params = sorted(request.GET.items())
    # 用路径+哈希值作为缓存键，避免过长字符串
    key = f"report:{request.path}:{hash(frozenset(sorted_params))}"
    return key

2. 结合django-cacheops实现精准失效 #

利用django-cacheops的模型失效机制，在报表依赖的数据模型更新时，主动清除关联缓存：

from cacheops import invalidate_model
from django.core.cache import cache

class DataRecord(models.Model):
    # 模型字段定义...
    
    def save(self, *args, **kwargs):
        super().save(*args, **kwargs)
        # 清除该报表路径下的所有缓存（通配符匹配）
        cache.delete_pattern(f"report:{self.report_path}/*")
    
    def delete(self, *args, **kwargs):
        super().delete(*args, **kwargs)
        invalidate_model(DataRecord)

如果报表仅依赖单个数据实例，用invalidate_obj(self)替代通配符删除，更精准高效。

3. 分级缓存：先存查询结果，再生成响应 #

不要直接缓存整个HTTP响应，优先缓存数据库查询的序列化结果，后续可复用该结果生成不同格式的响应：

import json
from django.core import serializers
from django.http import JsonResponse

def report_view(request):
    cache_key = get_report_cache_key(request)
    cached_data = cache.get(cache_key)
    
    if not cached_data:
        # 先优化QuerySet：用select_related/prefetch_related减少数据库查询
        queryset = DataRecord.objects.filter(**filters).select_related('category').prefetch_related('tags')
        # 序列化查询结果
        cached_data = serializers.serialize('json', queryset)
        # 设置缓存超时，数据更新会主动失效，可适当延长超时时间
        cache.set(cache_key, cached_data, timeout=300)
    
    # 基于缓存数据生成响应
    data = json.loads(cached_data)
    return JsonResponse(data, safe=False)

二、通用大数据端点的缓存优化 #

1. 先优化数据库查询（缓存的基础） #

• 用select_related/prefetch_related消除N+1查询问题
• 用only()/defer()仅获取需要的字段，减少数据传输量
• 给高频筛选字段添加数据库索引
• 避免all()后切片，直接用filter()+[:limit]限制结果集

2. 视图级缓存的灵活用法 #

对非实时端点用cache_page装饰器，结合vary_on_headers适配不同请求头：

from django.views.decorators.cache import cache_page, vary_on_headers

@cache_page(60 * 15)  # 缓存15分钟
@vary_on_headers('User-Agent')
def large_data_view(request):
    # 视图逻辑

若需自定义失效规则，仍用手动生成缓存键+Redis set/get的方式。

3. 分页数据的缓存处理 #

将页码加入缓存键，确保不同分页的缓存相互独立：

def get_paginated_cache_key(request):
    sorted_params = sorted(request.GET.items())
    page_num = request.GET.get('page', 1)
    key = f"endpoint:{request.path}:page:{page_num}:{hash(frozenset(sorted_params))}"
    return key

三、Redis部署与配置优化 #

1. Django Redis缓存后端配置 #

CACHES = {
    'default': {
        'BACKEND': 'django_redis.cache.RedisCache',
        'LOCATION': 'redis://127.0.0.1:6379/1',
        'OPTIONS': {
            'CLIENT_CLASS': 'django_redis.client.DefaultClient',
            'CONNECTION_POOL_KWARGS': {'max_connections': 100},  # 提升并发连接数
            'COMPRESSOR': 'django_redis.compressors.zlib.ZlibCompressor',  # 压缩缓存数据
        }
    }
}

2. Redis自身优化 #

• 开启RDB+AOF混合持久化，避免缓存丢失引发服务雪崩
• 配置allkeys-lru内存淘汰策略，自动清理最少使用的缓存
• 针对全球用户，可部署Redis集群或就近节点，降低网络延迟

四、实时性与性能的平衡策略 #

若报表要求严格实时无法用缓存，可尝试：

• 用数据库物化视图定期预计算数据，报表直接查询物化视图
• 用Celery异步任务预计算热门筛选组合，提前缓存结果
• 前端实现懒加载或分页，减少单次请求的数据量

内容的提问来源于stack exchange，提问作者Ali.az