如何使用Django ORM实现类似Pandas的前向填充缺失值功能

假设你的模型名称为MyModel，对应A列的字段名为a，默认排序字段为自增主键id（如果是其他排序字段可自行替换），可按以下两种场景实现需求：

场景1：查询时获取填充结果（不修改原数据库） #

使用Django ORM的窗口函数LastValue，直接在查询时计算前向填充后的A列值：

from django.db.models import F, Window
from django.db.models.functions import LastValue

# annotate新增filled_a字段，即为前向填充后的A列值
filled_queryset = MyModel.objects.annotate(
    filled_a=Window(
        expression=LastValue('a', ignore_nulls=True),
        order_by=F('id').asc(),
        # 默认窗口帧为从第一行到当前行，符合前向填充逻辑无需额外修改
    )
)

注意：ignore_nulls参数需要Django 3.2及以上版本支持，低于该版本需使用原生SQL实现。

场景2：直接更新数据库空值（永久填充） #

方案A：ORM批量更新（适合中小数据量） #

from django.db.models import Max

# 获取所有A列非空的记录，按ID升序排列
non_null_records = MyModel.objects.exclude(a__isnull=True).order_by('id').values('id', 'a')
non_null_list = list(non_null_records)
if not non_null_list:
    # 没有非空值直接返回
    pass

max_id = MyModel.objects.aggregate(max_id=Max('id'))['max_id']

for idx, record in enumerate(non_null_list):
    current_id = record['id']
    current_a = record['a']
    # 计算当前非空值的填充结束边界
    if idx < len(non_null_list) - 1:
        next_non_null_id = non_null_list[idx+1]['id']
        end_id = next_non_null_id - 1
    else:
        end_id = max_id
    if current_id >= end_id:
        continue
    # 批量更新区间内A列为空的记录
    MyModel.objects.filter(
        id__gt=current_id,
        id__lte=end_id,
        a__isnull=True
    ).update(a=current_a)

方案B：原生SQL执行（适合大数据量，以PostgreSQL为例） #

数据量较大时使用原生SQL执行效率更高，需替换语句中的表名为你自己的模型对应表名：

from django.db import connection

with connection.cursor() as cursor:
    cursor.execute("""
        UPDATE your_model_table_name t1
        SET a = t2.filled_a
        FROM (
            SELECT 
                id, 
                LAST_VALUE(a) IGNORE NULLS OVER (
                    ORDER BY id ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
                ) AS filled_a
            FROM your_model_table_name
        ) t2
        WHERE t1.id = t2.id AND t1.a IS NULL;
    """)

注意事项 #

• 前向填充依赖排序逻辑，示例中按ID升序排序，如需按创建时间等其他字段排序，替换对应order_by参数即可。
• 执行更新操作前请务必备份数据，避免误操作导致数据丢失。

内容的提问来源于stack exchange，提问作者Guet123