Azure Function使用Singleton属性时出现TaskCanceledException问题排查

问题场景 #

在使用Singleton属性的Azure Queue触发函数中，出现TaskCanceledException，堆栈跟踪显示异常来自Azure.Core.CancellationHelper.ThrowOperationCanceledException，该函数用于处理Queue消息并更新静态数据表。

函数代码 #

[FunctionName("SampleSingletonFunction")]
[Singleton]
public async Task GenerateData([QueueTrigger("GenerateDataQueue")] string data,
    ILogger logger)
{
    try 
    {
       logger.LogTrace("Generate Data started.");
       
       var client = _httpClientFactory.CreateClient();
       var response = await client.GetAsync("https://<url comes here>");
       if (response.IsSuccessStatusCode) 
       {
           logger.LogInformation("Success");
       }
       else 
       {
           logger.LogError("Failed");
       }
       logger.LogTrace("Generate Data completed.");
    }
    catch(Exception ex) 
    {
       logger.LogError(ex);
    }
}

Startup类代码 #

public class Startup : FunctionsStartup
{
    public override void Configure(IFunctionsHostBuilder builder)
    {
        // 注册BlobServiceClient到依赖注入
        builder.Services.AddAzureClients(clientBuilder =>
        {
        clientBuilder.AddBlobServiceClient(Settings.StorageConnection);
        });
     }
}

Host.json配置 #

{
    "version": "2.0",
    "functionTimeout": "02:00:00",
    "durableTask": {
        "maxConcurrentActivityFunctions": 10,
        "maxConcurrentOrchestratorFunctions": 10
    },
    "logging": {
        "applicationInsights": {
            "samplingExcludedTypes": "Request",
            "samplingSettings": {
                "isEnabled": false
            }
        },
        "logLevel": {
            "Host.Triggers.DurableTask": "Information"
        }
    }
}

已尝试的操作 #

• 确认Singleton属性配置正确
• 将host.json中的函数超时调整为2小时
• 验证Azure Blob存储的权限和连通性正常

问题解答 #

1. Singleton场景下TaskCanceledException的可能原因 #

• Singleton锁超时：Singleton依赖Azure存储维护分布式锁，默认锁超时为30分钟。若函数执行时间超过该值，锁会自动释放，后续锁续约操作被取消，抛出异常。
• HTTP请求超时：HttpClient.GetAsync默认超时100秒，若外部API响应缓慢，会触发请求超时，引发TaskCanceledException，此时异常与Singleton本身无关但易混淆。
• 函数宿主重启：宿主因资源回收、部署更新等原因重启时，正在执行的Singleton函数会被强制终止，抛出取消异常。
• 存储操作延迟：锁续约依赖Azure存储读写，若存储服务出现延迟或临时故障，锁续约请求会被取消，导致异常。

2. Singleton与Azure Function结合的配置遗漏及最佳实践 #

• 显式配置Singleton锁参数：使用[Singleton(Mode = SingletonMode.Function, LockTimeout = "02:00:00", LockAcquisitionTimeout = "00:10:00")]设置锁超时和获取超时，确保锁时长覆盖函数最大执行时间。
• 配置HttpClient超时：显式设置client.Timeout = TimeSpan.FromHours(2);，匹配函数超时时间，避免HTTP请求先于函数超时被取消。
• 启用Singleton日志：在host.json中添加"Host.Triggers.Singleton": "Information"日志级别，便于跟踪锁的获取、续约和释放过程。
• 避免长时同步操作：Singleton函数内优先使用异步操作，避免阻塞线程导致宿主误判函数无响应。
• 不依赖共享状态：Singleton仅保证单实例执行，但宿主重启会重置状态，如需持久化状态应使用外部存储。

3. 调试与解决方法 #

• 排查日志细节：查看Application Insights或函数日志，重点关注Host.Triggers.Singleton相关日志，确认锁生命周期是否正常，是否出现续约失败或超时。
• 分析异常上下文：在catch块中记录异常的CancellationToken状态，也可直接查看Azure存储中锁容器的内容，了解锁的实际状态。
• 独立测试HTTP请求：单独测试外部API的响应时间，确认是否为API超时导致异常，必要时调整HttpClient超时或优化API调用逻辑。
• 调整锁参数：根据函数实际执行时间，增大LockTimeout和LockAcquisitionTimeout，比如设置为与函数超时一致的2小时。
• 模拟锁超时场景：本地测试时手动延长函数执行时间，观察是否触发锁续约失败的异常，验证锁参数配置是否生效。

内容的提问来源于stack exchange，提问作者Techie