Django Rest Framework M2M关联下批量获取艺人共演关联数据的实现方法
Django 批量获取所有艺人共演关联艺人的性能优化方案
基础数据模型
现有定义的两个核心模型如下:
class Artist(models.Model): name = models.CharField(max_length=255) music_type = models.CharField(max_length=50) class Event(models.Model): event_name = models.CharField(max_length=255) description = models.TextField() place = models.CharField(max_length=50) longitude = models.DecimalField(max_digits=9, decimal_places=6) latitude = models.DecimalField(max_digits=9, decimal_places=6) date = models.DateField() artists = models.ManyToManyField(Artist)
现有实现的核心局限
目前已有的单艺人查询逻辑仅支持硬编码指定ID的单艺人场景,代码如下:
def get_related_artists(request): artist_id = 2 related_events = Artist.objects.filter(id=artist_id).first().event_set.all() related_artists_ids = [] for event in related_events: related_artists_ids = related_artists_ids + list( event.artists.all().values_list('id', flat=True).all() ) related_artists = Artist.objects\ .filter(id__in=set(related_artists_ids))\ .exclude(id=artist_id) serializer = ArtistRelatedSerializer(related_artists, many=True) return JsonResponse(serializer.data, safe=False)
对应的配套序列化器定义为:
class ArtistRelatedSerializer(serializers.ModelSerializer): class Meta: model = Artist fields = '__all__'
该方案的运行逻辑是:先拉取指定艺人参与过的所有活动,遍历活动收集所有参演艺人ID,去重后排除当前查询的艺人本身,序列化返回结果。但存在两个明显的限制:
- 仅支持硬编码固定ID的单个艺人查询,无法适配全量艺人列表的返回需求
- 如果为了实现全量查询,循环遍历所有艺人ID逐次执行单艺人查询逻辑,会触发严重的N+1数据库查询问题,数据量越大性能衰减越明显
注:N+1问题指查询主表N条数据后,每条数据单独触发一次关联查询,总共产生1+N次查询,数据量较大时会导致接口响应速度骤降。
高性能批量实现方案
完全可以避免逐艺人循环查询的逻辑,基于ORM的关联查询能力,把整体查询次数从随艺人数增长的线性级降到常数级,具体实现如下:
1. 调整序列化器结构
为每个艺人条目增加嵌套的共演艺人名,直接复用已有的ArtistRelatedSerializer:
class ArtistWithRelatedSerializer(serializers.ModelSerializer): # 嵌套返回当前艺人的所有共演关联艺人 co_artists = ArtistRelatedSerializer(many=True, read_only=True) class Meta: model = Artist fields = ['id', 'name', 'music_type', 'co_artists']
2. 编写固定次数的查询逻辑
利用ManyToMany自动生成的中间表一次性拉取所有共演关系,拆分查询步骤避免冗余查询,全程仅3次数据库查询,不会随数据量增长出现性能衰减:
from django.db.models import F def get_all_artists_with_co_artists(request): # 第一步:从ManyToMany中间表,一次性匹配所有同场活动的不同艺人组合(排除艺人自身) co_pairs = list( Event.artists.through.objects.values( 'artist_id' ).annotate( co_artist_id=F('event__artists__id') ).exclude( artist_id=F('co_artist_id') ).distinct() ) # 第二步:把共演关系整理为映射字典,同时收集所有需要加载的共演艺人ID co_map = {} all_co_artist_ids = set() for pair in co_pairs: current_artist_id = pair['artist_id'] related_artist_id = pair['co_artist_id'] all_co_artist_ids.add(related_artist_id) co_map.setdefault(current_artist_id, []).append(related_artist_id) # 第三步:一次性拉取所有需要用到的艺人详情(包括主表艺人和共演关联艺人) co_artist_detail_map = { artist.id: artist for artist in Artist.objects.filter(id__in=all_co_artist_ids) } all_artists = list(Artist.objects.all()) # 第四步:把共演关系挂载到每个艺人对象上,供序列化器读取 for artist in all_artists: related_ids = co_map.get(artist.id, []) artist.co_artists = [ co_artist_detail_map[rid] for rid in related_ids if rid in co_artist_detail_map ] serializer = ArtistWithRelatedSerializer(all_artists, many=True) return JsonResponse(serializer.data, safe=False)
3. 性能对比
- 循环逐艺人查询方案:假设有N个艺人,会产生至少N+1次数据库查询,艺人数量越多,查询次数线性增长,性能越差
- 上述实现:无论艺人总量、活动总量是多少,全程仅执行3次SQL查询,响应速度基本不受数据量增长影响
内容的提问来源于stack exchange,提问作者Frendom
相关产品推荐
相关产品推荐

