Microsoft Face API批量处理大量图片异常问题求助

从你的描述和代码来看，处理少量图片正常但批量就崩溃，核心问题大概率出在并发控制、资源管理、线程安全或者异常处理缺失上，下面逐个分析并给出修复方案：

1. Face API的并发限流被触发 #

Microsoft Face API（不管免费层还是付费层）都有严格的请求频率限制，比如免费层通常是每秒最多10个请求。你一次性发起1500个异步任务，哪怕加了Task.Delay(delay)，也很容易触发限流（返回429状态码），导致后续JSON反序列化失败或没有有效人脸数据，进而引发保存文件错误。

修复方案：

• 用SemaphoreSlim限制并发请求数，确保同时运行的任务数不超过API限制：

// 类级别声明信号量，比如限制同时10个请求
private static readonly SemaphoreSlim _semaphore = new SemaphoreSlim(10);

static async Task MakeAnalysisRequest(string imageFilePath, string fileName, int delay, string subscriptionKey, string endPointURL) {
    await _semaphore.WaitAsync(); // 等待获取信号量
    try {
        await Task.Delay(delay);
        // 原有的API调用逻辑...
    } finally {
        _semaphore.Release(); // 释放信号量，让其他任务执行
    }
}

• 检查API响应状态码，处理限流等错误：

response = await client.PostAsync(endPointURL, content);
if (!response.IsSuccessStatusCode) {
    var errorMsg = await response.Content.ReadAsStringAsync();
    throw new HttpRequestException($"API请求失败，状态码：{response.StatusCode}，错误信息：{errorMsg}");
}

2. HttpClient资源泄漏 #

你在每个任务里都new HttpClient()，这会导致大量Socket连接无法及时释放，最终耗尽系统资源，引发各种奇怪的IO错误（包括保存文件失败）。HttpClient是线程安全的，应该复用单个实例。

修复方案：

// 类级别创建静态HttpClient实例
private static readonly HttpClient _client = new HttpClient();

static async Task MakeAnalysisRequest(string imageFilePath, string fileName, int delay, string subscriptionKey, string endPointURL) {
    await _semaphore.WaitAsync();
    try {
        await Task.Delay(delay);
        byte[] byteData = GetImageAsByteArray(imageFilePath);
        using (ByteArrayContent content = new ByteArrayContent(byteData)) {
            content.Headers.ContentType = new MediaTypeHeaderValue("application/octet-stream");
            response = await _client.PostAsync(endPointURL, content); // 复用静态HttpClient
            // 后续逻辑...
        }
    } finally {
        _semaphore.Release();
    }
}

3. 共享集合的线程安全问题 #

objFaceIdImage和faceIds看起来是全局共享集合，多个异步任务同时调用Add操作会导致并发冲突（比如集合内部结构损坏），进而引发未捕获的异常，最终表现为“保存文件出错”。

修复方案：
用线程安全的集合替代普通List：

// 替换原来的List为ConcurrentBag
private static readonly ConcurrentBag<FaceIdImageLink> objFaceIdImage = new ConcurrentBag<FaceIdImageLink>();
private static readonly ConcurrentBag<string> faceIds = new ConcurrentBag<string>();

// 直接调用Add，无需额外锁
objFaceIdImage.Add(new FaceIdImageLink { faceId = obj.faceId, imageName = fileName });
faceIds.Add(obj.faceId);

4. 异常处理不完整，无法定位真实错误 #

你的代码有几个异常处理漏洞：

• MakeAnalysisRequest内部的catch只是把异常赋值给var a = ex;，没有抛出或记录，导致异常被吞掉，Task.WaitAll的AggregateException无法捕获真实错误。
• 未检查API返回内容是否为有效人脸数据，比如API返回空数组或错误JSON时，反序列化会出错但被内部catch吞了。

修复方案：
完善异常处理，抛出内部异常并记录详细日志：

static async Task MakeAnalysisRequest(string imageFilePath, string fileName, int delay, string subscriptionKey, string endPointURL) {
    await _semaphore.WaitAsync();
    try {
        await Task.Delay(delay);
        byte[] byteData = GetImageAsByteArray(imageFilePath);
        using (ByteArrayContent content = new ByteArrayContent(byteData)) {
            content.Headers.ContentType = new MediaTypeHeaderValue("application/octet-stream");
            var response = await _client.PostAsync(endPointURL, content);
            
            if (!response.IsSuccessStatusCode) {
                var errorMsg = await response.Content.ReadAsStringAsync();
                throw new InvalidOperationException($"处理图片 {fileName} 时API请求失败：{response.StatusCode} - {errorMsg}");
            }
            
            string contentString = await response.Content.ReadAsStringAsync();
            if (string.IsNullOrEmpty(contentString)) {
                Console.WriteLine($"图片 {fileName} 中未检测到人脸");
                return;
            }
            
            List<RootObject> objRoot = JsonConvert.DeserializeObject<List<RootObject>>(contentString);
            if (objRoot == null || !objRoot.Any()) {
                Console.WriteLine($"图片 {fileName} 中未检测到人脸");
                return;
            }
            
            foreach (var obj in objRoot) {
                if (obj?.faceId == null) continue;
                
                objFaceIdImage.Add(new FaceIdImageLink { faceId = obj.faceId, imageName = fileName });
                faceIds.Add(obj.faceId);
                CropImage(fileName, imageFilePath, obj.faceRectangle.left, obj.faceRectangle.top, obj.faceRectangle.width, obj.faceRectangle.height, obj.faceId);
            }
        }
    } catch (Exception ex) {
        Console.WriteLine($"处理图片 {fileName} 时出错：{ex.Message}");
        throw; // 重新抛出异常，让Task.WaitAll捕获
    } finally {
        _semaphore.Release();
    }
}

同时在外层catch中打印AggregateException的内部异常：

catch (AggregateException ex) {
    Console.WriteLine("批量处理时出现多个错误：");
    foreach (var innerEx in ex.InnerExceptions) {
        Console.WriteLine($"- {innerEx.Message}");
        // 如需更详细信息可打印堆栈
        // Console.WriteLine(innerEx.StackTrace);
    }
} catch (Exception ex) {
    Console.WriteLine($"处理时出错：{ex.Message}");
}

5. 文件保存的并发冲突 #

如果CropImage函数直接在同一目录生成文件，多个任务同时写入文件系统可能引发IO冲突（比如两个任务同时创建/写入同一文件）。

修复方案：

• 确保每个裁剪后的文件有唯一文件名（你已经用faceId作为文件名一部分，确认其唯一性即可）。
• 在CropImage内部添加文件操作的异常处理，捕获IO异常并记录。

按照以上方案逐一排查修复，应该能解决批量处理的崩溃问题，同时能更清晰地定位具体错误原因。

内容的提问来源于stack exchange，提问作者user1640256