Durable Functions是否适用于高数量活动场景？50万执行疑问

你现在遇到的问题其实是对Durable Orchestrator的工作模式理解不到位，并不是Durable Functions不适合这种高并发批量任务场景——恰恰相反，Durable就是为这类场景设计的，只是你的写法没用到正确的姿势。

问题出在哪？ #

你当前的代码一次性创建了50万个Task，而Durable Orchestrator的核心特性是基于历史重放的执行模型：每次编排器被唤醒（比如等待的任务完成、定时器触发等），都会从头重新执行整个编排代码，直到遇到上次暂停的异步等待点。这就意味着，哪怕只有一个任务完成，编排器都会重新跑一遍那个50万次的循环，这自然会产生数百万次不必要的循环，性能拉胯是必然的。

正确的做法：批量+并发控制 #

我们需要把大任务拆成小批次，每批次控制在30个并发（刚好匹配你的限流要求），处理完一批再启动下一批。这样每次编排器唤醒时，只需要处理当前批次的任务，循环次数会大幅减少。

修改后的代码示例 #

假设你用的是.NET 6+（支持LINQ的Chunk方法），可以这么写：

[FunctionName("Crawl")]
public static async Task<List<string>> RunOrchestrator(
    [OrchestrationTrigger] DurableOrchestrationContext context)
{
    Console.WriteLine("In orchestration");
    var outputs = new List<string>();

    // 获取所有任务
    var jobs = await context.CallActivityAsync<List<Influencer>>("GetSocialAccountJobs", "");
    
    // 定义批次大小（匹配你的限流30并发）
    const int batchSize = 30;
    var jobBatches = jobs.Chunk(batchSize);

    var retryOptions = new RetryOptions(
        firstRetryInterval: TimeSpan.FromSeconds(60),
        maxNumberOfAttempts: 3);

    // 逐个处理每个批次
    foreach (var batch in jobBatches)
    {
        var batchTasks = batch.Select(job => 
            context.CallActivityWithRetryAsync<string>("Crawl_Hello", retryOptions, job.Id))
            .ToList();
        
        // 等待当前批次所有任务完成
        var batchResults = await Task.WhenAll(batchTasks);
        outputs.AddRange(batchResults);
    }

    return outputs;
}

如果是.NET 5及以下，你可以手动实现分块逻辑，比如：

// 手动分块的方法
static IEnumerable<List<T>> Chunk<T>(List<T> source, int chunkSize)
{
    for (int i = 0; i < source.Count; i += chunkSize)
    {
        yield return source.GetRange(i, Math.Min(chunkSize, source.Count - i));
    }
}

// 调用时替换成：
var jobBatches = Chunk(jobs, batchSize);

额外说明 #

• 这种分批处理的方式，既符合Durable Orchestrator的执行模型，又严格控制了并发数，不会触发限流。
• 每次编排器只会在处理完一个批次后暂停，唤醒时直接进入下一个批次的循环，不会重复执行之前的批次逻辑（因为历史记录会跟踪已经完成的异步操作，重放时会直接跳过已完成的等待）。
• 如果你的任务允许部分并行（比如不需要等上一批全完再启动下一批，但总并发不超30），还可以用滑动窗口的方式，但实现起来稍复杂，对你当前的场景来说，简单的分批等待已经足够解决问题。

内容的提问来源于stack exchange，提问作者Thomas Segato