.NET 4.8同步UI线程下预加载文件优化迭代性能方案咨询

要实现UI线程处理当前文件时后台预加载下一个的需求，直接使用BCL内置的BlockingCollection<T>即可，它封装了线程安全的生产者-消费者同步逻辑，无需手动管理信号量，实现简洁且符合内存限制要求。

改造后的代码 #

// 初始化容量为1的阻塞集合，限制仅预加载1个文件，避免内存过载
using var fileQueue = new BlockingCollection<ScanFile>(boundedCapacity: 1);

// 启动后台线程作为生产者：负责文件加载
Task.Run(() =>
{
    try
    {
        foreach (var filePath in Directory.EnumerateFiles("c:\\scans", "*.json"))
        {
            var scanFile = this.LoadScanFile(filePath);
            fileQueue.Add(scanFile);
        }
    }
    finally
    {
        // 所有文件加载完成后，标记集合为完成状态，避免UI线程无限等待
        fileQueue.CompleteAdding();
    }
});

// UI线程作为消费者：逐个处理文件（Process始终在UI线程执行）
foreach (var scanFile in fileQueue.GetConsumingEnumerable())
{
    Process(scanFile);
}

核心逻辑说明 #

• 生产者-消费者模式：后台线程（生产者）负责耗时的LoadScanFile操作，UI线程（消费者）负责Process操作，两者并行执行，重叠耗时操作，总耗时接近单流程的最长耗时（而非两者相加）。
• 内存控制：BlockingCollection的boundedCapacity设为1，确保后台最多仅预加载1个文件，不会一次性加载所有文件导致内存不足。
• 自动同步：BlockingCollection自动处理线程间的同步：
  • 当UI线程处理当前文件时，后台线程可提前加载下一个文件并放入队列；
  • 如果UI处理速度快于后台加载，UI线程会自动等待，直到后台加载完成新的文件；
  • 所有文件加载完成后，CompleteAdding会通知UI线程结束循环。

注意事项 #

• 确保Process方法确实在UI线程执行：由于foreach循环启动于UI线程，GetConsumingEnumerable的枚举操作也在UI线程，因此调用Process时天然处于UI线程，符合需求。
• 必须在生产者线程的finally块调用CompleteAdding：否则UI线程的foreach会一直阻塞，无法正常结束。
• Task.Run在.NET 4.8中使用线程池线程，适合后台无UI交互的加载操作。

内容的提问来源于stack exchange，提问作者Steven