Django Paginator+bulk_update仅更新奇数页问题排查

你遇到的奇数页更新、偶数页数据遗漏的问题，核心原因是Paginator的静态分页逻辑和动态变化的数据库数据不匹配：

• 初始化Paginator时，它已基于当时的未更新数据总量计算好总页数和每页偏移量
• 当你更新完第一页数据后，这些数据不再满足col1__isnull=True, col2__isnull=True的过滤条件，数据库内未更新数据总量减少了1000条
• 但循环仍按初始的page_range去取第二页，此时Paginator会用初始偏移量（如第1001-2000条）查询，而数据库中原第1001-2000条未更新数据已变成新的第1-1000条，导致你实际取到的是原第2001-3000条数据，直接跳过了中间1000条，最终表现为偶数页数据被遗漏。

放弃使用Paginator，改用动态迭代查询的方式，每次从数据库获取最新的未更新数据，直到无数据可处理为止。推荐用基于id的游标分页，效率更高：

def add_values_to_columns(foo):
    foo.col1 = ...
    foo.col2 = ...


class Command(BaseCommand):
    def handle(self, *args, **options):
        try:
            chunk_size = 1000
            last_id = 0

            while True:
                # 每次获取最新未更新数据，按id排序取指定条数
                queryset = Foo.objects.filter(
                    col1__isnull=True, col2__isnull=True,
                    id__gt=last_id
                ).order_by("id").select_related("bar")[:chunk_size]
                
                objs = list(queryset)
                if not objs:
                    break  # 无数据时退出循环

                updated_rows = []
                for foo in objs:
                    add_values_to_columns(foo)
                    updated_rows.append(foo)

                Foo.objects.bulk_update(updated_rows, ["col1", "col2"])
                # 更新last_id，下一批从当前批次最后一条数据的id之后开始取
                last_id = objs[-1].id
                self.stdout.write(f"已处理到id: {last_id}")

            self.stdout.write("所有数据处理完成")
        except Exception as e:
            self.stdout.write(str(e))

• 用id__gt=last_id的方式，确保每次取的都是未处理过的最新数据，不会因前面的数据更新导致分页错位
• 每次循环重新查询，保证过滤条件实时生效
• 即使id不连续，只要是有序自增字段就能正常工作

内容的提问来源于stack exchange，提问作者Enorio