Django项目Celery任务迁移Google Cloud Task及403权限问题咨询

一、现有Celery任务改造适配方案 #

改造思路 #

Google Cloud Tasks是完全托管的队列服务，和Celery的核心逻辑相似，都是异步提交任务到队列，由服务侧触发执行，改造步骤如下：

1. 替换任务装饰器：将Celery的@shared_task替换为django-cloud-tasks的@task装饰器
2. 调整函数参数：Cloud Tasks的任务第一个参数固定为request对象，包含任务ID等元信息，替换原有Celery的self参数
3. 移除Celery专属依赖：比如Celery的进度记录器ProgressRecorder，如果需要进度追踪可自行在数据库中建任务进度表存储状态
4. 调整调用方式：将原有的delay调用替换为django-cloud-tasks的execute方法

改造后代码示例 #

from django_cloud_tasks.decorators import task
from snakeimage.models import Prediction, UploadedSnake, SnakeClass
from snakeimage.classification_codes.classification_codes.prediction_func import predict_classes

@task(queue='default')
def prediction_task(request, image_path, X, Y, metadata, image_id):
    predictions = predict_classes(image_path, X, Y, metadata)
    for prediction in predictions:
        image = UploadedSnake.objects.get(id=image_id)
        class_name = SnakeClass.objects.get(index=(prediction[0] + 1))
        Prediction.objects.create(
            image=image, 
            class_name=class_name, 
            predict_percent=prediction[1]
        )
    return True

视图调用示例 #

# 原Celery调用方式
# task = image_progress.delay(image_path=image_path, X=X, Y=Y, metadata=0, image_id=image_id)

# 替换为Cloud Tasks调用方式
task = prediction_task.execute(kwargs={
    "image_path": image_path, 
    "X": X, 
    "Y": Y, 
    "metadata": 0, 
    "image_id": image_id
})

二、403 Permission Denied报错解决 #

该错误由配置错误和身份认证缺失导致，按以下步骤修复：

• 修正settings配置占位符
  你当前配置中使用了文档示例的占位符，同时错误开启了远程任务拦截，修改后的配置如下：

  DJANGO_CLOUD_TASKS_EXECUTE_LOCALLY = False
  DJANGO_CLOUD_TASKS_BLOCK_REMOTE_TASKS = False # 关闭远程任务拦截
  DJANGO_CLOUD_TASKS_HANDLER_SECRET = '你自行生成的随机秘钥'
  
  DJANGO_CLOUD_TASKS = {
      # 替换为真实项目ID和区域，不要保留大括号和占位文本
      'project_location_name': 'projects/deployement-test/locations/europe-west6',
      'task_handler_root_url': '/_tasks/',
  }
  

• 配置身份凭证
  django-cloud-tasks复用Google Cloud官方SDK的认证逻辑，不需要单独配置API密钥：
  1. 本地/私有服务器部署：在IAM控制台创建拥有Cloud Tasks Enqueuer权限的服务账号，下载JSON密钥文件，在运行环境添加环境变量GOOGLE_APPLICATION_CREDENTIALS，值为密钥文件的绝对路径
  2. App Engine部署：无需额外配置，App Engine默认服务账号自带Cloud Tasks操作权限，配置正确项目信息即可
• 验证队列状态
  确认在Google Cloud控制台的Cloud Tasks页面，对应区域已经创建了名为default的运行中队列。

内容的提问来源于stack exchange，提问作者Ilyes Negadi