Azure WebApp多实例下后台Worker单实例运行及故障接管方案咨询

嘿，针对你在Azure Web App上横向扩展ASP.NET Core 3 Docker应用时，想让后台Worker只在单个实例运行且能自动故障转移的需求，我整理了几个同一容器内就能实现的方案，完全符合你不想拆分Azure Function的成本和复杂度考量：

这个思路和你设想的不谋而合——利用Azure给每个Web App实例分配的唯一标识，通过分布式存储做实例注册和心跳，自动选举并监控主实例，具体操作步骤如下：

• 获取实例标识：Azure Web App会自动给每个实例设置环境变量WEBSITE_INSTANCE_ID，你可以在代码里通过Environment.GetEnvironmentVariable("WEBSITE_INSTANCE_ID")拿到当前实例的唯一ID。
• 实例注册与心跳：让每个实例在分布式存储（比如Azure Blob Storage或Azure Redis）里注册自己的ID，并定期更新心跳时间（比如每10秒一次）。这样就能实时获取所有活跃的实例列表。
• 主实例选举：把所有活跃实例的ID按字典序排序，取第一个作为主实例。你的后台Worker启动前先检查当前实例是否是排序后的第一个，如果是则启动Worker；否则进入休眠，定时（比如每30秒）重新检查。
• 故障转移处理：其他实例会定期检查主实例的心跳，如果主实例的心跳超过阈值（比如20秒），就判定它已宕机，重新触发选举，选出新的主实例并启动Worker任务。

下面是一个用Azure Blob Storage实现的核心代码示例：

public class WorkerElectionService : IHostedService
{
    private readonly string _currentInstanceId;
    private readonly BlobContainerClient _blobContainer;
    private readonly TimeSpan _heartbeatInterval = TimeSpan.FromSeconds(10);
    private readonly TimeSpan _electionCheckInterval = TimeSpan.FromSeconds(30);
    private readonly TimeSpan _failureThreshold = TimeSpan.FromSeconds(20);
    private bool _isMaster = false;
    private Timer _heartbeatTimer;
    private Timer _electionTimer;

    public WorkerElectionService(BlobContainerClient blobContainer)
    {
        _currentInstanceId = Environment.GetEnvironmentVariable("WEBSITE_INSTANCE_ID") ?? Guid.NewGuid().ToString();
        _blobContainer = blobContainer;
    }

    public async Task StartAsync(CancellationToken cancellationToken)
    {
        // 初始注册实例并执行第一次选举
        await RegisterInstanceAsync();
        await CheckElectionAsync();

        // 启动心跳和选举检查定时器
        _heartbeatTimer = new Timer(async _ => await UpdateHeartbeatAsync(), null, TimeSpan.Zero, _heartbeatInterval);
        _electionTimer = new Timer(async _ => await CheckElectionAsync(), null, _electionCheckInterval, _electionCheckInterval);
    }

    private async Task RegisterInstanceAsync()
    {
        var blobClient = _blobContainer.GetBlobClient($"instances/{_currentInstanceId}");
        await blobClient.UploadAsync(new BinaryData(DateTime.UtcNow.ToString()), overwrite: true);
    }

    private async Task UpdateHeartbeatAsync()
    {
        if (_isMaster)
        {
            var blobClient = _blobContainer.GetBlobClient($"instances/{_currentInstanceId}");
            await blobClient.UploadAsync(new BinaryData(DateTime.UtcNow.ToString()), overwrite: true);
        }
    }

    private async Task CheckElectionAsync()
    {
        var activeInstances = new List<string>();
        await foreach (var blobItem in _blobContainer.GetBlobsAsync(prefix: "instances/"))
        {
            var blobClient = _blobContainer.GetBlobClient(blobItem.Name);
            var content = await blobClient.DownloadContentAsync();
            if (DateTime.TryParse(content.Value.Content.ToString(), out var lastHeartbeat)
                && DateTime.UtcNow - lastHeartbeat <= _failureThreshold)
            {
                activeInstances.Add(Path.GetFileName(blobItem.Name));
            }
            else
            {
                // 清理过期实例记录
                await blobClient.DeleteIfExistsAsync();
            }
        }

        if (activeInstances.Any())
        {
            activeInstances.Sort();
            var newMaster = activeInstances.First();
            if (newMaster == _currentInstanceId)
            {
                if (!_isMaster)
                {
                    _isMaster = true;
                    // 启动你的后台Worker任务（清理数据库、发送邮件等）
                    Console.WriteLine($"实例 {_currentInstanceId} 成为主节点，启动后台Worker");
                    await StartBackgroundTasksAsync();
                }
            }
            else
            {
                if (_isMaster)
                {
                    _isMaster = false;
                    // 停止后台Worker任务
                    Console.WriteLine($"实例 {_currentInstanceId} 不再是主节点，停止后台Worker");
                    await StopBackgroundTasksAsync();
                }
            }
        }
    }

    private Task StartBackgroundTasksAsync()
    {
        // 这里替换成你的实际后台任务启动逻辑
        return Task.CompletedTask;
    }

    private Task StopBackgroundTasksAsync()
    {
        // 这里替换成你的实际后台任务停止逻辑
        return Task.CompletedTask;
    }

    public Task StopAsync(CancellationToken cancellationToken)
    {
        _heartbeatTimer?.Dispose();
        _electionTimer?.Dispose();
        return Task.CompletedTask;
    }
}

方案1的注意事项 #

• 分布式存储选择：如果你的项目已经用了Redis，用Redis的Hash或Sorted Set来存储心跳会更高效；如果没有，Azure Blob Storage是低成本首选，个人项目的存储成本几乎可以忽略。
• 幂等性保障：后台Worker的任务（比如数据库清理）要做好幂等性，比如给已处理的记录加标记，避免故障转移时重复执行。
• 环境变量权限：Azure Web App默认会给所有实例注入WEBSITE_INSTANCE_ID，不需要额外配置，Docker容器里直接能读取。

如果觉得方案1的代码量有点大，还可以用更简单的方式：

• 在Azure门户里给其中一个实例开启"始终开启"（配置->常规设置），其他实例关闭这个选项。
• 在代码里检查当前实例是否开启了"始终开启"（可以通过调用Azure管理API，或者给主实例设置自定义应用设置标记），只有这个实例运行后台Worker。
• 故障转移需要手动干预，或者你可以写一个简单的Azure Monitor警报，当主实例宕机时自动触发脚本，把另一个实例设置为"始终开启"。

这个方案适合对自动化要求不高的个人项目，操作起来更简单。

内容的提问来源于stack exchange，提问作者JensB