C#如何实现单文件夹单线程异步扫描并在完成后异步插入数据库

核心实现思路 #

• 为每个文件夹创建独立的Task实现并行扫描
• 用线程安全集合存储扫描结果，避免多线程写入冲突
• 通过Task.WhenAll等待所有扫描任务完成后再执行数据库操作
• 全程采用异步写法，不会阻塞主线程

代码实现示例 #

首先定义扫描结果实体类：

public class FileScanResult
{
    public string Path { get; set; }
    public string FileName { get; set; }
    public DateTime LastWriteUtc { get; set; }
    public long Size { get; set; }
}

主逻辑实现：

// 初始化待扫描文件夹
List<string> foldersToScan = new List<string>
{
    @"D:\Development\TempScan",
    @"D:\RemotePc"
};

// 线程安全的结果集合，多线程写入无需手动加锁
ConcurrentBag<FileScanResult> scanResults = new ConcurrentBag<FileScanResult>();

// 为每个文件夹创建独立扫描任务
List<Task> scanTasks = foldersToScan.Select(folder => Task.Run(() => 
{
    // 此处需修改你的IterateFolder方法，将扫描到的结果添加到scanResults中
    IterateFolder(findInfoLevel, additionalFlags, folder, scanResults);
    Console.WriteLine($"线程：{folder} 扫描完成");
})).ToList();

// 等待所有扫描任务全部完成，此处用await不会阻塞主线程
await Task.WhenAll(scanTasks);

// 扫描全部完成，转换为List后执行异步数据库插入
List<FileScanResult> finalResults = scanResults.ToList();
// 此处写你的异步数据库插入逻辑，例如EF Core的写法：
// await yourDbContext.FileScanResults.AddRangeAsync(finalResults);
// await yourDbContext.SaveChangesAsync();

原有实现问题说明 #

1. Thread方案：如果把Join()放在循环内，会等当前线程执行完才启动下一个线程，完全串行执行；如果不加Join()，无法监听所有线程的完成状态，导致数据库操作提前执行。
2. 旧Task方案：你把所有文件夹的遍历放在同一个Task内，内部的foreach还是串行执行，相当于只用到了一个额外线程，没有实现多文件夹并行扫描，所以速度和同步执行没有区别。

优化建议 #

• 如果扫描的文件夹数量较多，可通过SemaphoreSlim限制并行度，避免IO争抢导致性能下降：

// 限制最多同时跑5个扫描任务，可根据实际磁盘性能调整
SemaphoreSlim semaphore = new SemaphoreSlim(5);
List<Task> scanTasks = foldersToScan.Select(folder => Task.Run(async () => 
{
    await semaphore.WaitAsync();
    try
    {
        IterateFolder(findInfoLevel, additionalFlags, folder, scanResults);
    }
    finally
    {
        semaphore.Release();
    }
})).ToList();

• 单个文件夹的扫描逻辑要做好异常捕获，避免单个文件夹权限不足、路径不存在等问题导致整个扫描任务终止。

内容的提问来源于stack exchange，提问作者MiralShah