如何在Django中为Elasticsearch已有数据创建模型并高效分页

核心思路是封装一个类模拟Django QuerySet的行为，结合Elasticsearch的原生分页参数（from/size），让Django分页器只请求当前页所需的数据，避免全量查询。同时确保封装类仅支持查询操作，不涉及Elasticsearch写入。

1. 封装Elasticsearch查询为类QuerySet风格 #

创建ESQuerySet类，实现Django Paginator依赖的核心方法（count()、__len__、__getitem__），内部将切片操作转换为Elasticsearch的分页查询：

from elasticsearch_dsl import Search

class ESQuerySet:
    def __init__(self, search: Search):
        self.search = search
        self._total_count = None  # 缓存总数，避免重复查询

    def count(self):
        if self._total_count is None:
            self._total_count = self.search.count()
        return self._total_count

    def __len__(self):
        return self.count()

    def __getitem__(self, item):
        if isinstance(item, slice):
            # 将切片转换为ES的from/size参数
            start = item.start or 0
            end = item.stop or self.count()
            page_results = self.search[start:end].execute()
            return page_results.hits
        # 支持单个索引取值（如es_queryset[5]）
        return self.search[item:item+1].execute().hits[0]

2. 在Django视图中结合分页器使用 #

先构造Elasticsearch查询对象，传入ESQuerySet后直接交给Django Paginator处理，分页时只会请求当前页的数据：

from django.shortcuts import render
from django.core.paginator import Paginator
from elasticsearch_dsl import Search
from .documents import YourESDocument  # 替换为你的ES文档类

def es_paginated_list(request):
    # 构造你的Elasticsearch查询逻辑
    base_search = Search(index="your_index_name").query("match", content="目标关键词")
    es_queryset = ESQuerySet(base_search)

    # 初始化分页器，每页显示10条数据
    paginator = Paginator(es_queryset, 10)
    page_num = request.GET.get("page", 1)
    page_obj = paginator.get_page(page_num)

    return render(request, "es_list.html", {"page_obj": page_obj})

3. 前端模板渲染分页数据 #

和普通Django分页模板完全兼容，直接使用page_obj的属性渲染列表和分页控件：

<!-- 渲染数据列表 -->
{% for hit in page_obj %}
    <div class="item">
        <h3>{{ hit.title }}</h3>
        <p>{{ hit.content|truncatechars:100 }}</p>
    </div>
{% empty %}
    <p>暂无数据</p>
{% endfor %}

<!-- 分页控件 -->
<div class="pagination">
    <span class="step-links">
        {% if page_obj.has_previous %}
            <a href="?page=1">&laquo; 首页</a>
            <a href="?page={{ page_obj.previous_page_number }}">上一页</a>
        {% endif %}

        <span class="current">
            第 {{ page_obj.number }} 页 / 共 {{ page_obj.paginator.num_pages }} 页
        </span>

        {% if page_obj.has_next %}
            <a href="?page={{ page_obj.next_page_number }}">下一页</a>
            <a href="?page={{ page_obj.paginator.num_pages }}">末页 &raquo;</a>
        {% endif %}
    </span>
</div>

关键优化与注意事项 #

• 缓存总数查询：ESQuerySet中缓存了总数结果，避免每次分页都重复请求Elasticsearch统计总数。
• 深分页处理：如果数据量超过Elasticsearch默认的from上限（10000条），需要改用search_after分页，此时需修改ESQuerySet的逻辑，让前端传递上一页最后一条数据的排序字段值，实现无深分页限制的高效分页。
• 只读保障：该封装类仅实现查询相关方法，未提供save()、delete()等写入操作，确保不会修改Elasticsearch中的数据。

内容的提问来源于stack exchange，提问作者PLSD