Django嵌套事务中如何让内事务结束时释放select_for_update行锁？

核心问题分析 #

Django的嵌套事务并非真正的数据库级嵌套事务，而是通过**保存点（savepoint）**模拟的，所有嵌套事务中的锁都会绑定到最外层的主事务，只有主事务提交或回滚时才会统一释放。这就是你在内层事务结束后无法释放行锁的原因。

结合你的业务场景（外层锁视频行防重复处理，内层更新Lambda暖池计数需及时释放锁），需要将内层的锁操作从主事务中剥离，放到独立的事务上下文中执行。

实现方案 #

方案1：PostgreSQL自主事务（推荐） #

PostgreSQL支持自主事务（Autonomous Transactions），允许在当前事务中启动一个完全独立的子事务，提交后立即释放相关锁，且不影响主事务的状态。Django未直接封装此功能，但可以通过原生SQL实现：

from django.db import connection, transaction
from django.db.models import F

with transaction.atomic():
    # 外层事务：锁定视频行，防止重复处理
    video = VideoModel.objects.select_for_update().get(id=video_id)
    # 前置检查：确保视频未被其他进程处理
    if video.status != "pending":
        raise ValueError("视频已在处理中")
    video.status = "processing"
    video.save()

    # 执行自主事务更新Lambda暖池计数
    with connection.cursor() as cursor:
        # 启动独立事务
        cursor.execute("BEGIN;")
        # 执行更新操作
        cursor.execute(
            "UPDATE lambda_warm_pool SET usage = usage + 1 WHERE id = %s;",
            [pool_id]
        )
        # 提交独立事务，立即释放锁
        cursor.execute("COMMIT;")

    # 执行繁重的视频处理（此时Lambda锁已释放）
    process_video(video)

    # 外层事务提交，释放视频行锁
    video.status = "completed"
    video.save()

方案2：拆分事务到独立函数 #

如果不想使用原生SQL，可以将Lambda计数更新逻辑抽离到独立的事务函数中，确保它在主事务之外执行：

from django.db import transaction
from django.db.models import F

@transaction.atomic
def update_lambda_pool_usage(pool_id):
    LambdaWarmPool.objects.filter(id=pool_id).update(usage=F("usage") + 1)

with transaction.atomic():
    # 外层事务锁定视频行
    video = VideoModel.objects.select_for_update().get(id=video_id)
    if video.status != "pending":
        raise ValueError("视频已在处理中")
    video.status = "processing"
    video.save()

# 独立事务执行Lambda更新，事务结束立即释放锁
update_lambda_pool_usage(pool_id)

# 回到外层事务上下文完成视频处理
with transaction.atomic():
    process_video(video)
    video.status = "completed"
    video.save()

关键注意事项 #

• 自主事务的不可回滚性：自主事务提交后无法被主事务回滚，需确保Lambda计数更新是幂等的（比如重复执行不影响最终结果），或接受少量计数偏差（可通过定时任务修正）。
• 数据库兼容性：方案1仅适用于PostgreSQL，若使用MySQL等其他数据库，需采用方案2或数据库原生的独立事务实现。
• 异步替代方案：若视频处理耗时极长，可将Lambda计数更新放到异步任务（如Celery）中执行，异步任务会在独立进程的事务中运行，锁释放更及时。

内容的提问来源于stack exchange，提问作者AlwaysLearning