ServiceFabric无状态WebAPI返回503/404自动重试问题排查

问题背景 #

我们基于.NET 5构建了Service Fabric无状态WebAPI前端，实现了异常处理过滤器，用于捕获后端有状态服务抛出的异常并返回对应HTTP状态码。但遇到以下问题：

• 返回标准状态码404或503时，请求会被自动重试，导致Postman调用GET接口超时，调试发现代码持续进入返回404的异常处理逻辑
• 使用自定义状态码（如591、592）时，无自动重试现象

推测自动重试由Service Fabric机制触发，需解决两个问题：如何禁用该重试行为？是否违背Service Fabric公网WebAPI的设计规范？

异常处理过滤器代码 #

public class OrderServiceRetryFilter : IExceptionFilter
{
    public void OnException(ExceptionContext context)
    {
        var exc = context.Exception;
        if (exc is AggregateException ae && (
            ae.InnerException is OrdersNotFetchedException onfe))
        {
            context.HttpContext.Response.Headers.Add("Retry-After", "2");
            var result = new ObjectResult(onfe.Message) { StatusCode = 591 };
            context.Result = result;
            context.ExceptionHandled = true;
        }
        if (exc is AggregateException ate && (
            ate.InnerException is System.TimeoutException toex))
        {
            context.HttpContext.Response.Headers.Add("Retry-After", "1");
            var result = new ObjectResult(toex.Message) { StatusCode = 504 };
            context.Result = result;
            context.ExceptionHandled = true;
        }
        if (exc is AggregateException anfe && (
            anfe.InnerException is OrderNotFoundException onf))
        {
            var result = new NotFoundObjectResult(onf.Message);
            context.Result = result;
            context.ExceptionHandled = true;
        }
    }
}

Kestrel服务器启动代码 #

private IWebHost BuildWebHost(string url, AspNetCoreCommunicationListener listener)
{
    ServiceEventSource.Current.ServiceMessage(Context, $"Starting Kestrel on {url}");

    var webHost = new WebHostBuilder()
        .UseKestrel()
        .ConfigureServices(
            services => services
                .AddSingleton(Context)                     
                .AddSingleton(ServiceFabricRemoting.CreateServiceProxy<IOrderService>(new Uri($"{ServiceFabricRemoting.GetFabricApplicationName()}/MyApp.OrderService"), new MyLogger(Context), 1))                        
        )
        .UseContentRoot(Directory.GetCurrentDirectory())
        .UseStartup<Startup>()
        .UseServiceFabricIntegration(listener, ServiceFabricIntegrationOptions.UseUniqueServiceUrl)
        .UseUrls(url)
        .Build();

    HandleWebHostBuilt(webHost);

    return webHost;
}

解决方案：禁用Service Fabric自动重试 #

1. 自定义ServiceProxy重试策略 #

在创建ServiceProxy时，显式配置RetrySettings，排除不需要重试的状态码（如404）：

var retrySettings = new RetrySettings(
    maxRetryCount: 0, // 全局禁用重试，或自定义条件
    retryErrorFilter: ex => 
    {
        // 仅对特定异常/状态码重试，排除404相关场景
        if (ex is AggregateException ae && ae.InnerException is OrderNotFoundException)
        {
            return false; // 不重试
        }
        // 其他需要重试的场景返回true
        return true;
    });

var serviceProxy = ServiceFabricRemoting.CreateServiceProxy<IOrderService>(
    new Uri($"{ServiceFabricRemoting.GetFabricApplicationName()}/MyApp.OrderService"), 
    new MyLogger(Context), 
    retrySettings: retrySettings);

2. 调整Service Fabric集成选项 #

通过自定义中间件拦截响应，覆盖默认重试逻辑：

.UseServiceFabricIntegration(listener, ServiceFabricIntegrationOptions.UseUniqueServiceUrl)
// 添加自定义中间件禁止重试
.UseMiddleware<DisableRetryMiddleware>()

自定义中间件示例：

public class DisableRetryMiddleware
{
    private readonly RequestDelegate _next;

    public DisableRetryMiddleware(RequestDelegate next)
    {
        _next = next;
    }

    public async Task InvokeAsync(HttpContext context)
    {
        await _next(context);
        
        // 对404响应移除重试相关头部
        if (context.Response.StatusCode == StatusCodes.Status404NotFound)
        {
            context.Response.Headers.Remove("Retry-After");
            // 添加自定义头部告知客户端无需重试
            context.Response.Headers.Add("X-No-Retry", "true");
        }
    }
}

3. 替换标准状态码为自定义状态码 #

如已验证的方案，用自定义状态码（如592）替代404，绕过Service Fabric默认的重试触发条件，这种方式简单直接，适合快速解决问题。

关于设计规范的说明 #

Service Fabric默认的重试逻辑是针对内部服务间通信设计的，默认认为404、503等状态码可能是临时故障（如服务迁移、实例重启），因此自动重试。但对于公网暴露的WebAPI，404表示资源不存在，是确定性的业务错误，不需要重试。

调整重试策略以适配公网API场景，完全符合Service Fabric的设计规范——Service Fabric允许开发者根据业务场景自定义通信策略，公网API的行为应遵循REST规范，确保客户端得到明确的响应结果，避免不必要的重试消耗资源。

内容的提问来源于stack exchange，提问作者Juho Rutila