授权失败时忽略认证方案返回401而非500的配置问题

首先，我们来拆解你遇到的问题根源：

• 当自定义AuthenticationHandler调用context.Fail()时，ASP.NET Core授权框架会尝试触发Challenge流程，即向客户端返回未授权响应。
• 但你配置的DefaultChallengeScheme是Constants.NoOp，这个Scheme并未实际注册到系统中，导致框架抛出InvalidOperationException（找不到认证方案），最终返回500错误。
• 另外，你的Configure方法中缺少app.UseAuthentication()，认证中间件未加载，进一步加剧了流程异常。

下面是分步解决方案：

1. 注册用于处理Challenge的空认证方案 #

创建一个简单的认证Handler，专门在授权失败时返回401响应，避免抛出异常：

using Microsoft.AspNetCore.Authentication;
using Microsoft.Extensions.Logging;
using Microsoft.Extensions.Options;
using System.Text.Encodings.Web;
using System.Threading.Tasks;

namespace Core.Services.Authentication
{
    public class NoOpAuthenticationHandler : AuthenticationHandler<AuthenticationSchemeOptions>
    {
        public NoOpAuthenticationHandler(IOptionsMonitor<AuthenticationSchemeOptions> options, 
                                         ILoggerFactory logger, 
                                         UrlEncoder encoder, 
                                         ISystemClock clock)
            : base(options, logger, encoder, clock)
        {
        }

        // 无需实际执行认证逻辑，授权Handler已完成验证
        protected override Task<AuthenticateResult> HandleAuthenticateAsync()
        {
            return Task.FromResult(AuthenticateResult.NoResult());
        }

        // 触发Challenge时直接返回401状态码
        protected override Task HandleChallengeAsync(AuthenticationProperties properties)
        {
            Response.StatusCode = StatusCodes.Status401Unauthorized;
            return Task.CompletedTask;
        }
    }
}

2. 更新Startup中的服务配置 #

在ConfigureServices中注册上述认证方案，确保DefaultScheme和DefaultChallengeScheme指向已注册的Scheme：

public void ConfigureServices(IServiceCollection services) {
    services.AddScoped<IAuthService>(_ => new AuthService(damInfo.BaseUrl, damInfo.SystemUsername, damInfo.SystemPassword));
    services.AddScoped<IAuthorizationHandler, AuthenticationHandler>();
    services.AddMvc().SetCompatibilityVersion(CompatibilityVersion.Version_2_1);
    
    services.AddAuthorization(options => {
        options.AddPolicy("ServicePolicy", policy => policy.Requirements.Add(new ServiceRequirement("")));
        options.InvokeHandlersAfterFailure = false;
    });
    
    services.AddAuthentication(options => {
        options.DefaultScheme = Constants.NoOp;
        options.DefaultChallengeScheme = Constants.NoOp;
    })
    // 关联自定义Handler到Constants.NoOp方案
    .AddScheme<AuthenticationSchemeOptions, NoOpAuthenticationHandler>(Constants.NoOp, null);
}

3. 启用认证中间件 #

在Configure方法中添加app.UseAuthentication()，且必须放在app.UseMvc()之前，确保认证流程在MVC处理请求前执行：

public void Configure(IApplicationBuilder app, IHostingEnvironment env) {
    if (env.IsDevelopment())
        app.UseDeveloperExceptionPage();
    else
        app.UseHsts();

    app.UseHttpsRedirection();
    app.UseCors(builder => {
        builder.AllowAnyHeader();
        builder.AllowAnyMethod();
        builder.AllowAnyOrigin();
    });

    // 必须添加此行，位置在UseMvc之前
    app.UseAuthentication();

    app.UseMvc();
}

4. 修复AuthorizationHandler中的异步调用问题 #

你当前使用.Result同步等待异步方法，可能导致死锁，改为await调用：

protected override async Task HandleRequirementAsync(AuthorizationHandlerContext context, ServiceRequirement requirement) {
    var authFilterCtx = (Microsoft.AspNetCore.Mvc.Filters.AuthorizationFilterContext)context.Resource;
    var httpContext = authFilterCtx.HttpContext;
    var headers = httpContext.Request.Headers[HeaderNames.Authorization];

    if (StringValues.IsNullOrEmpty(headers)) {
        context.Fail();
    } else {
        var auth = AuthenticationHeaderValue.Parse(headers);
        // 替换.Result为await，避免死锁
        var loginResponse = await _authService.IsLoggedInRequest(auth.Parameter);
        if (!loginResponse.IsLoggedIn) {
            context.Fail();
        } else {
            context.Succeed(requirement);
        }
    }
}

完成以上修改后，当用户未通过认证时，系统会正确触发Challenge流程，通过NoOpAuthenticationHandler返回401 Unauthorized响应，而非500内部服务器错误。

内容的提问来源于stack exchange，提问作者Frederik Madsen