.NET 6控制台应用多BlockingCollection高CPU占用优化咨询

你的核心问题是消费BlockingCollection的循环在队列空时持续空转，导致CPU被占满。以下是具体的修复方案：

1. 替换TryTake为阻塞式消费逻辑 #

原来的TryTake会在队列无元素时立即返回false，导致循环瞬间重复执行，线程持续占用CPU。改用Take或GetConsumingEnumerable可以让线程在队列空时进入休眠状态，完全不占用CPU资源。

方案一：使用Take方法（推荐） #

private void ProcessQueue()
{
    try
    {
        while (true)
        {
            // Take会阻塞线程，直到队列有新元素；当队列调用CompleteAdding且为空时，抛出InvalidOperationException
            var result = fileMetadataQueue.Take();
            
            // 原文件复制逻辑不变
            var newFileLocation = processorOps.MoveFile(result);
            if (!string.IsNullOrEmpty(newFileLocation))
            {
                result.newFileLocation = newFileLocation;
                resultQueue.Add(result);
            }
            else
            {
                retryQueue.Add(result);
            }
        }
    }
    catch (InvalidOperationException)
    {
        // 仅当应用需要关闭时，才会触发此异常（调用CompleteAdding后），这里可以做清理工作
    }
}

方案二：使用GetConsumingEnumerable（更简洁） #

private void ProcessQueue()
{
    // GetConsumingEnumerable会自动阻塞等待新元素，直到队列调用CompleteAdding
    foreach (var result in fileMetadataQueue.GetConsumingEnumerable())
    {
        var newFileLocation = processorOps.MoveFile(result);
        if (!string.IsNullOrEmpty(newFileLocation))
        {
            result.newFileLocation = newFileLocation;
            resultQueue.Add(result);
        }
        else
        {
            retryQueue.Add(result);
        }
    }
}

2. 优化文件释放等待逻辑 #

原代码中Thread.Sleep(300)会阻塞线程池线程，换成异步的Task.Delay可以释放线程供其他任务使用，降低资源消耗：

private async Task ProcessNotifications(Channel<FileSystemEventArgs> channel, BlockingCollection<FileMetadata> queue)
{
   await foreach (var e in channel.Reader.ReadAllAsync())
   {
      await Task.Delay(300); // 异步等待，不阻塞线程
      try
      {
         FileMetadata fileInfo = ExtractFileMetadata(e.FullPath);
         queue.Add(fileInfo);
      }
      catch
      {
         // 日志记录等操作
      }
   }
}

3. 统一修改所有消费线程 #

ProcessDestinationThread和RetryOnErrorThread的逻辑与FileCopyThread完全一致，需要将它们的TryTake循环也替换为上述阻塞式消费逻辑，避免多个线程同时空转。

关键说明 #

• 无需调用CompleteAdding()：该方法仅用于关闭队列，你的应用需要持续运行接收新文件，因此保持队列处于活跃状态即可。
• 阻塞式消费的优势：当队列无元素时，线程会进入休眠状态，CPU占用率会降到接近0；有新元素时，线程会被自动唤醒处理任务。

内容的提问来源于stack exchange，提问作者CMorgan