如何在并行运行复杂foreach循环时维持100次连接限流规则？

这个问题太常见了——想靠并行提速，又得严格守住原有的限流节奏，我给你捋两个靠谱的方案：

方案1：按批次并行处理（完全贴合原逻辑） #

原代码的核心逻辑是每攒够100个任务处理完，就休眠15秒再继续。改成并行的话，最直接的方式就是把ID集合拆成每100个一组，每组内部并行处理，组与组之间严格等待15秒。这样既用到了并行的效率，又和原逻辑丝毫不差。

代码示例：

// 把ID集合按每100个分成批次
var batches = IdCollection
    .Select((id, index) => new { Id = id, GroupIndex = index / 100 })
    .GroupBy(item => item.GroupIndex)
    .Select(group => group.Select(item => item.Id).ToList());

foreach (var batch in batches)
{
    // 并行处理当前批次的所有ID
    Parallel.ForEach(batch, userId =>
    {
        ProcessId(userId, file);
    });

    // 只有当批次刚好是100个时才休眠（和原逻辑一致，最后一批不足100个不休眠）
    if (batch.Count == 100)
    {
        Thread.Sleep(15 * 1000);
    }
}

这个方案的优势是逻辑直观，和原代码的限流节奏完全对齐，而且同一批次内的任务可以并行执行，比串行效率提升明显。

方案2：全局计数器+线程安全限流（持续并行模式） #

如果不想拆分批次，希望任务一直处于并行状态，但每累计处理完100个任务就全局暂停15秒，可以用线程安全的计数器加锁来实现：

// 线程安全的处理计数器
int processedCount = 0;
// 锁对象，避免多个线程重复触发休眠
object lockObj = new object();

Parallel.ForEach(IdCollection, userId =>
{
    // 先处理当前ID
    ProcessId(userId, file);

    // 递增计数器并检查是否达到100的倍数
    int currentTotal = Interlocked.Increment(ref processedCount);
    if (currentTotal % 100 == 0)
    {
        lock (lockObj)
        {
            // 双重检查，确保只有第一个触发的线程执行休眠
            if (currentTotal % 100 == 0)
            {
                Thread.Sleep(15 * 1000);
            }
        }
    }
});

这个方案的特点是任务会持续并行启动，但每完成100个总任务时，后续的任务会等待15秒再继续。需要注意的是：已经启动的任务会继续执行完，休眠只会阻止新任务启动，这和原逻辑的“处理完100个后完全暂停”有细微差异，适合对限流节奏容忍度稍高的场景。

关键注意事项 #

• 线程安全！：ProcessId方法以及共享资源（比如你传入的file）必须是线程安全的。如果多个线程同时写入同一个文件，会导致数据错乱，需要在ProcessId内部加锁，或者使用线程安全的文件操作API。
• 异步场景优化：如果是在.NET Core/.NET 5+的异步环境中（比如Web应用），更推荐用Task.WhenAll代替Parallel.ForEach，用Task.Delay代替Thread.Sleep，避免阻塞主线程：

foreach (var batch in batches)
{
    var tasks = batch.Select(userId => Task.Run(() => ProcessId(userId, file)));
    await Task.WhenAll(tasks);

    if (batch.Count == 100)
    {
        await Task.Delay(15 * 1000);
    }
}

内容的提问来源于stack exchange，提问作者user5405648