如何确保Azure Runbook针对单台Slurm主VM仅执行一次关机操作？

这确实是分布式场景里很常见的重复触发问题——多个计算节点同时发起同一主VM的关机请求，很容易导致Runbook重复执行。针对你的Azure环境，我有几个实用的解决方案，都是实际工作中验证过的：

这个方案直接把"执行状态"绑定到主VM本身，实现起来非常简单：

• 在Runbook开头先检查主VM是否带有ShutdownInProgress=true的标记
• 如果有标记，说明已经有请求在处理，直接退出Runbook
• 如果没有，先添加标记，再执行关机操作，最后可以选择移除标记（方便后续再次触发）

示例PowerShell Runbook代码：

# 配置你的主VM信息
$vmName = "your-master-vm-name"
$resourceGroupName = "your-resource-group-name"

# 获取VM对象
$vm = Get-AzVM -Name $vmName -ResourceGroupName $resourceGroupName

# 检查是否已有关机中的标记
if ($vm.Tags.ContainsKey("ShutdownInProgress") -and $vm.Tags["ShutdownInProgress"] -eq "true") {
    Write-Output "主VM $vmName 已在关机流程中，跳过本次请求"
    exit 0
}

# 添加执行锁标记
$vm.Tags["ShutdownInProgress"] = "true"
Update-AzVM -VM $vm -ResourceGroupName $resourceGroupName

# 执行关机操作
Stop-AzVM -Name $vmName -ResourceGroupName $resourceGroupName -Force

# 可选：关机完成后移除标记（如果需要后续再次触发关机）
$vm.Tags.Remove("ShutdownInProgress")
Update-AzVM -VM $vm -ResourceGroupName $resourceGroupName

如果你的环境需要跨资源的锁机制，或者担心VM标记被意外修改，可以用存储账户的Blob独占创建特性：

• 创建一个专门的存储容器用于存放锁文件
• Runbook尝试创建以主VM名称命名的空Blob（设置独占创建，已存在则报错）
• 创建成功则执行关机，失败则直接退出

示例PowerShell Runbook代码：

# 配置存储账户和VM信息
$storageAccountName = "your-storage-account"
$storageRG = "storage-resource-group"
$containerName = "shutdown-locks"
$vmName = "your-master-vm-name"
$vmRG = "vm-resource-group"
$lockBlobName = "lock-$vmName"

# 获取存储上下文
$storageAccount = Get-AzStorageAccount -ResourceGroupName $storageRG -Name $storageAccountName
$ctx = $storageAccount.Context

# 尝试创建独占Blob（已存在则抛出异常）
try {
    New-AzStorageBlob -Container $containerName -Blob $lockBlobName -Context $ctx -ContentBytes @() -Force:$false
} catch {
    Write-Output "已有针对主VM $vmName 的关机请求，跳过本次执行"
    exit 0
}

# 执行关机操作
Stop-AzVM -Name $vmName -ResourceGroupName $vmRG -Force

# 关机完成后删除锁Blob
Remove-AzStorageBlob -Container $containerName -Blob $lockBlobName -Context $ctx

与其在Runbook层面拦截，不如直接让只有最后一个完成的计算节点触发关机请求：

• 在计算节点的关机脚本里，先检查当前主VM下的活跃计算节点数量
• 只有当活跃节点只剩当前节点（或者为0）时，才调用Runbook

示例Slurm关机脚本片段（bash）：

# 获取当前主VM下的活跃计算节点数（替换成你的计算节点前缀）
active_nodes=$(sinfo -h -o "%N" | grep -c "your-compute-node-prefix")

# 只有最后一个节点才触发关机
if [ $active_nodes -le 1 ]; then
    # 调用Azure Runbook的命令（替换成你的自动化账户信息）
    az automation runbook start \
        --name "your-shutdown-runbook" \
        --resource-group "your-automation-rg" \
        --automation-account-name "your-automation-account"
fi

方案选择建议 #

• 如果不想修改Slurm脚本，优先选方案1，轻量且直接绑定VM状态
• 如果环境复杂、需要跨资源锁，选方案2，可靠性更高
• 如果能修改Slurm的关机逻辑，选方案3，从根源避免重复请求

内容的提问来源于stack exchange，提问作者user1980099