Azure File Share批量检查文件是否存在的方法及替代方案

关于ShareFileClient.ExistsAsync的批量版本 #

目前Azure.Storage.Files.Shares SDK没有原生的批量检查文件存在性的API，所有文件存在性验证都得针对单个文件/目录发起独立请求。

优化现有方案的最佳思路 #

1. 控制并发请求数量 #

你现在用AsParallel()+Task.Run()的无限制并发方式，很容易触发Azure的请求限流（429错误），SDK自动重试反而会拖慢整体速度。建议用SemaphoreSlim来限制同时发起的请求数，比如：

var semaphore = new SemaphoreSlim(15); // 并发数可根据实际情况调整，先试10-20之间
var checkTasks = paths.Select(async path =>
{
    await semaphore.WaitAsync();
    try
    {
        var dirClient = share.GetDirectoryClient(GetDirName(path));
        var fileClient = dirClient.GetFileClient(GetFileName(path));
        var existsResult = await fileClient.ExistsAsync();
        return (FilePath: path, Exists: existsResult.Value);
    }
    finally
    {
        semaphore.Release();
    }
});

var results = await Task.WhenAll(checkTasks);

Azure File Shares对单个存储账户有请求速率限制，合理控制并发能避免频繁限流，直接提升整体检查速度。

2. 按目录分组枚举文件 #

如果你的文件路径集中在少量目录下，可以先按父目录分组，一次性枚举目录下的所有文件，再在本地匹配要检查的路径，这样能大幅减少API调用次数：

// 把路径按父目录分组
var groupedPaths = paths.GroupBy(p => GetDirName(p));
var existenceResults = new Dictionary<string, bool>();

foreach (var dirGroup in groupedPaths)
{
    var dirClient = share.GetDirectoryClient(dirGroup.Key);
    // 枚举当前目录下的所有文件和子目录
    await foreach (var item in dirClient.GetFilesAndDirectoriesAsync())
    {
        var fullFilePath = Path.Combine(dirGroup.Key, item.Name);
        if (dirGroup.Contains(fullFilePath))
        {
            existenceResults[fullFilePath] = item.IsFile;
        }
    }
    // 处理分组里没找到的路径，标记为不存在
    foreach (var missingPath in dirGroup.Where(p => !existenceResults.ContainsKey(p)))
    {
        existenceResults[missingPath] = false;
    }
}

这种方式适合文件集中在少数目录的场景，比如同一个目录下有几十上百个要检查的文件，只需要一次API调用就能获取所有文件信息，比逐个检查高效得多。

3. 替换同步调用为异步 #

你当前代码用的是同步的file.Exists()，换成异步的ExistsAsync()能更好地利用线程资源，减少线程阻塞带来的额外耗时，这对提升批量处理速度也有帮助。

额外优化点 #

• 复用ShareClient实例：不要每次检查都创建新的ShareClient，SDK内部维护了连接池，复用能减少连接建立的开销。
• 检查区域一致性：如果你的应用和Azure存储账户不在同一区域，跨区域访问会增加请求延迟，尽量让两者在同一区域部署。

内容的提问来源于stack exchange，提问作者Abdelhakim