如何让Cloud Run Job完成前序任务后再执行后续任务？

我在构建Cloud Run Job的任务执行流程，要求第一个任务完成后再执行后续任务。参考官方提供的Shell脚本示例后发现，该示例只能实现任务并行执行，无法满足我的需求。我希望等待首个任务完成后，根据其执行成功或失败的状态，再并行执行后续任务，请问有什么建议或变通方案？

以下是官方文档中的示例Shell脚本：

#!/bin/bash
set -euo pipefail

# 生产环境中建议添加-x参数，打印执行的命令，方便调试
# set -euox pipefail

CLOUD_RUN_TASK_INDEX=${CLOUD_RUN_TASK_INDEX:=0}
CLOUD_RUN_TASK_ATTEMPT=${CLOUD_RUN_TASK_ATTEMPT:=0}

echo "Starting Task #${CLOUD_RUN_TASK_INDEX}, Attempt #${CLOUD_RUN_TASK_ATTEMPT}..."

# SLEEP_MS 和 FAIL_RATE 应为十进制数，用printf解析格式化输入
SLEEP_MS=$(printf '%.1f' "${SLEEP_MS:=0}")
FAIL_RATE=$(printf '%.1f' "${FAIL_RATE:=0}")

# 模拟任务执行的等待时间
SLEEP_SEC=$(echo print\("${SLEEP_MS}"/1000\) | perl)
sleep "$SLEEP_SEC" # sleep接受秒数，而非毫秒

# 按FAIL_RATE概率让任务失败
# Bash不支持浮点运算，用perl转换为整数并乘以100
FAIL_RATE_INT=$(echo print\("int(${FAIL_RATE:=0}*100"\)\) | perl)

# 生成0-100的随机数
RAND=$(( RANDOM % 100))
if (( RAND < FAIL_RATE_INT )); then 
    echo "Task #${CLOUD_RUN_TASK_INDEX}, Attempt #${CLOUD_RUN_TASK_ATTEMPT} failed."
    exit 1
else 
    echo "Completed Task #${CLOUD_RUN_TASK_INDEX}."
fi

可行方案建议 #

方案一：利用Cloud Workflows编排任务流程 #

• 通过Cloud Workflows实现完整的流程控制：
  1. 第一步触发首个Cloud Run Job，配置等待任务执行完成
  2. 根据首个任务的执行状态（成功/失败），添加分支判断逻辑
  3. 若首个任务成功，并行触发后续所有Cloud Run Job任务；若失败，则终止流程或执行异常处理
• 优势：原生支持任务依赖、状态判断和并行执行，无需自行实现轮询逻辑

方案二：在单个Job脚本内实现串行+并行逻辑 #

• 修改现有脚本，通过外部存储传递任务状态：
  1. 当CLOUD_RUN_TASK_INDEX=0时，执行首个核心任务，完成后将状态（SUCCESS/FAILURE）写入Cloud Storage或Firestore
  2. 其他索引的任务启动后，轮询外部存储中的状态，直到首个任务完成且状态为成功，才开始执行自身任务
  3. 需设置合理的轮询间隔和超时时间，避免资源浪费
• 核心修改示例：

#!/bin/bash
set -euo pipefail

CLOUD_RUN_TASK_INDEX=${CLOUD_RUN_TASK_INDEX:=0}
CLOUD_RUN_TASK_ATTEMPT=${CLOUD_RUN_TASK_ATTEMPT:=0}
# 替换为你的存储路径，比如Cloud Storage桶文件
STATE_PATH="gs://your-task-state-bucket/first-task-status.txt"

if [ $CLOUD_RUN_TASK_INDEX -eq 0 ]; then
    echo "执行首个任务 #${CLOUD_RUN_TASK_INDEX}，尝试次数 #${CLOUD_RUN_TASK_ATTEMPT}..."
    # 这里替换为你的首个任务实际逻辑
    sleep 10
    
    # 模拟任务成功，写入状态；若失败则写入FAILURE并exit 1
    echo "SUCCESS" | gsutil cp - $STATE_PATH
    echo "首个任务完成"
else
    echo "等待首个任务完成... 当前任务 #${CLOUD_RUN_TASK_INDEX}"
    # 轮询状态，直到获取结果
    while true; do
        if gsutil ls $STATE_PATH > /dev/null 2>&1; then
            TASK_STATUS=$(gsutil cat $STATE_PATH)
            if [ "$TASK_STATUS" = "SUCCESS" ]; then
                echo "首个任务成功，开始执行当前任务..."
                # 替换为你的后续任务实际逻辑
                sleep 5
                echo "任务 #${CLOUD_RUN_TASK_INDEX} 完成"
                break
            elif [ "$TASK_STATUS" = "FAILURE" ]; then
                echo "首个任务失败，终止当前任务"
                exit 1
            fi
        fi
        sleep 2
    done
fi

方案三：通过Cloud Functions触发后续任务 #

• 配置首个Cloud Run Job的日志导出到Cloud Logging
• 创建Cloud Functions，设置日志触发器，当检测到首个任务成功完成的日志条目时触发
• 在Cloud Functions中批量启动后续的并行Cloud Run Job任务
• 优势：无需修改现有Job脚本，适合简单的成功触发场景

内容的提问来源于stack exchange，提问作者Shadab Hussain