寻求按依赖顺序运行多bash脚本的可靠实现思路

1. 先明确依赖关系的定义方式 #

用纯文本配置文件（比如script_deps.conf）统一管理所有脚本的依赖，每行格式为：

<脚本文件名>:<依赖脚本1>,<依赖脚本2>,...

示例：

data_export.sh:db_backup.sh
report_generate.sh:data_export.sh,user_sync.sh
user_sync.sh:

无依赖的脚本后面留空即可，解析时可直接识别为优先执行的任务。

2. 编写状态校验工具函数 #

针对脚本生成的XML日志，优先用xmllint（比grep更精准，避免误匹配）提取执行状态。假设日志中固定包含<status>SUCCESS</status>或<status>FAILED</status>标签，编写bash函数：

# 校验指定脚本的执行状态，成功返回0，失败返回1
check_script_status() {
    local script_name="$1"
    local log_file="${script_name%.sh}.log.xml"  # 约定日志文件名与脚本名对应

    # 先检查日志文件是否存在
    if [ ! -f "$log_file" ]; then
        echo "ERROR: 日志文件 $log_file 不存在"
        return 1
    fi

    # 用xmllint解析XML获取状态
    local status=$(xmllint --xpath 'string(//status)' "$log_file" 2>/dev/null)
    if [ "$status" = "SUCCESS" ]; then
        return 0
    else
        echo "脚本 $script_name 执行失败，状态: $status"
        return 1
    fi
}

若未安装xmllint，可改用gawk做精准匹配：gawk -v RS='</?status>' 'NR==2 {print $0}' "$log_file"

3. 依赖拓扑排序与执行队列管理 #

用bash关联数组存储每个脚本的依赖列表、未完成依赖计数、执行状态，通过队列实现按依赖顺序执行：

核心逻辑步骤 #

• 加载配置文件，初始化关联数组：
  • declare -A DEPS：存储每个脚本的依赖列表
  • declare -A DEP_COUNT：存储每个脚本未完成的依赖数量
  • declare -A EXEC_STATUS：存储每个脚本的执行状态（未执行/成功/失败）
  • declare -A REVERSE_DEPS：存储每个脚本被哪些脚本依赖（反向依赖）
• 遍历所有脚本，将无依赖的加入待执行队列
• 循环处理队列：
  1. 取出队列头部脚本
  2. 执行脚本（未执行过的情况下）
  3. 调用校验函数更新执行状态
  4. 若执行成功，遍历所有依赖该脚本的其他脚本，将其DEP_COUNT减1，当计数为0时加入待执行队列
• 最后输出所有执行失败的脚本清单

核心代码示例 #

#!/bin/bash
set -euo pipefail

# 初始化关联数组
declare -A DEPS
declare -A DEP_COUNT
declare -A EXEC_STATUS
declare -A REVERSE_DEPS

# 加载依赖配置
load_deps() {
    local conf_file="$1"
    while IFS=: read -r script deps; do
        DEPS["$script"]="$deps"
        # 计算依赖数量
        local dep_num=$(echo "$deps" | tr ',' '\n' | grep -v '^$' | wc -l)
        DEP_COUNT["$script"]=$dep_num
        EXEC_STATUS["$script"]="NOT_EXECUTED"
        # 构建反向依赖
        if [ -n "$deps" ]; then
            for dep in $(echo "$deps" | tr ',' '\n'); do
                REVERSE_DEPS["$dep"]+="$script,"
            done
        fi
    done < "$conf_file"
}

# 执行脚本的函数
run_script() {
    local script_name="$1"
    echo "开始执行脚本: $script_name"
    # 执行脚本，可按需捕获输出
    bash "$script_name"
    # 执行后立即校验状态
    if check_script_status "$script_name"; then
        EXEC_STATUS["$script_name"]="SUCCESS"
        echo "脚本 $script_name 执行成功"
    else
        EXEC_STATUS["$script_name"]="FAILED"
        echo "脚本 $script_name 执行失败，跳过其依赖脚本"
    fi
}

# 主执行逻辑
main() {
    local conf_file="script_deps.conf"
    load_deps "$conf_file"

    # 初始化待执行队列：无依赖的脚本
    local queue=()
    for script in "${!DEP_COUNT[@]}"; do
        if [ "${DEP_COUNT[$script]}" -eq 0 ]; then
            queue+=("$script")
        fi
    done

    # 处理队列
    while [ ${#queue[@]} -gt 0 ]; do
        # 取出队列第一个元素
        local current_script="${queue[0]}"
        queue=("${queue[@]:1}")

        # 已执行过则跳过
        if [ "${EXEC_STATUS[$current_script]}" != "NOT_EXECUTED" ]; then
            continue
        fi

        # 执行脚本
        run_script "$current_script"

        # 执行成功则更新反向依赖的计数
        if [ "${EXEC_STATUS[$current_script]}" = "SUCCESS" ]; then
            local dependents="${REVERSE_DEPS[$current_script]}"
            if [ -n "$dependents" ]; then
                for dep_script in $(echo "$dependents" | tr ',' '\n' | grep -v '^$'); do
                    DEP_COUNT["$dep_script"]=$((DEP_COUNT["$dep_script"] - 1))
                    # 依赖全部完成则加入队列
                    if [ "${DEP_COUNT[$dep_script]}" -eq 0 ]; then
                        queue+=("$dep_script")
                    fi
                done
            fi
        fi
    done

    # 输出执行结果汇总
    echo -e "\n=== 执行结果汇总 ==="
    for script in "${!EXEC_STATUS[@]}"; do
        echo "$script: ${EXEC_STATUS[$script]}"
    done

    # 收集未成功执行的脚本
    local failed_scripts=()
    for script in "${!EXEC_STATUS[@]}"; do
        if [ "${EXEC_STATUS[$script]}" = "FAILED" ] || [ "${EXEC_STATUS[$script]}" = "NOT_EXECUTED" ]; then
            failed_scripts+=("$script")
        fi
    done

    if [ ${#failed_scripts[@]} -gt 0 ]; then
        echo -e "\n=== 未成功执行的脚本 ==="
        printf "%s\n" "${failed_scripts[@]}"
        exit 1
    else
        echo -e "\n所有脚本执行成功"
        exit 0
    fi
}

# 启动主逻辑
main

4. 额外优化点 #

• 超时控制：给每个脚本执行加超时限制，比如timeout 300 bash "$script_name"，避免脚本卡住
• 日志归档：执行前将旧日志归档到指定目录，防止日志覆盖
• 并行执行：无依赖脚本较多时，可通过后台进程并行执行，注意控制并发数避免资源耗尽
• 断点续跑：将EXEC_STATUS写入临时文件，下次启动时加载，跳过已成功执行的脚本

内容的提问来源于stack exchange，提问作者Mohammed Asran