C# WebApi如何流式返回任务集合结果得到完整文件目录树

首先直接给结论：你当前返回ConcurrentBag<Task<IEnumerable<string>>>的方案无法直接实现流式返回，存在几个本质问题：

• Parallel.ForEach内部嵌套Task.Run属于无效的资源浪费：Parallel本身就会调度线程池线程执行循环逻辑，再包一层Task只会平白占用线程池资源，没有任何性能收益。
• 直接把Task集合传给Ok()方法时，ASP.NET Core序列化的是Task对象本身的运行时属性（比如任务ID、状态、是否完成），不会等待任务执行，更不会读取任务返回的文件路径，客户端拿到的结果完全不是你需要的文件列表。
• 就算你在接口里await所有Task拿到结果再返回，本质还是把全量文件路径攒在内存里，目录体量极大时照样会出现内存占用过高、响应等待时间过长的问题。

可行实现方案 #

完全可以实现单次请求下的流式返回，核心是利用HTTP分块传输能力，边遍历目录边往响应流写入结果，全程不把全量文件列表缓存在内存中，同时保留多根目录并行遍历的效率，完全满足你「不能拆分为多个请求、必须返回完整目录树」的要求。
推荐用Channel做生产消费队列解耦逻辑：多个并行的目录遍历任务作为生产者，找到一个文件路径就往队列里塞；接口的响应输出逻辑作为消费者，从队列里拿到路径就立刻往HTTP响应流写，不用等所有目录遍历完成。

具体实现代码 #

第一步：改造服务层遍历逻辑

不要返回Task集合，改为直接往Channel写入遍历到的路径，找到一个写一个，不攒全量列表：

public async Task EnumerateFilesToChannel(
    ChannelWriter<string> writer,
    CancellationToken cancellationToken)
{
    var parallelOptions = new ParallelOptions
    {
        CancellationToken = cancellationToken,
        // 控制并行度，IO密集型场景不要设太高，避免磁盘竞争
        MaxDegreeOfParallelism = Math.Min(Environment.ProcessorCount * 2, 8)
    };

    try
    {
        // 用Parallel.ForEachAsync并行遍历多个根目录，.NET 6+可用
        await Parallel.ForEachAsync(_root, parallelOptions, async (resource, ct) =>
        {
            ValidateRootFolder(resource);
            // 异步枚举目录下的所有文件，不用等全部枚举完
            await foreach (var filePath in Directory.EnumerateFilesAsync(
                resource, "*.*", SearchOption.AllDirectories, ct))
            {
                await writer.WriteAsync(filePath, ct);
            }
        });
    }
    finally
    {
        // 无论遍历成功、失败还是取消，都标记队列写入完成，避免消费者卡死
        writer.Complete();
    }
}

第二步：改造接口，实现流式写入响应

[HttpGet("GetFiles")]
public async Task GetFiles(CancellationToken cancellationToken)
{
    // 设置响应头，如果你要返回纯文本每行一个路径就用text/plain，要返回JSON就改成application/json
    Response.ContentType = "text/plain; charset=utf-8";
    // 关闭框架的响应缓冲，不要把所有内容攒在内存里
    var bodyFeature = Response.HttpContext.Features.Get<IHttpResponseBodyFeature>();
    bodyFeature?.DisableBuffering();

    // 创建无边界Channel作为路径中转队列
    var channel = Channel.CreateUnbounded<string>(new UnboundedChannelOptions
    {
        SingleWriter = false, // 多个并行遍历任务写入
        SingleReader = true // 只有响应输出逻辑读取
    });

    // 启动目录遍历任务，不等待完成，让它后台跑
    var enumerateTask = _fileService.EnumerateFilesToChannel(channel.Writer, cancellationToken);

    // 直接往响应流写内容
    await using var writer = new StreamWriter(Response.Body, leaveOpen: true);
    // 逐行读取队列里的路径，读到就写
    await foreach (var filePath in channel.Reader.ReadAllAsync(cancellationToken))
    {
        await writer.WriteLineAsync(filePath);
        // 立刻刷入流，推送给客户端
        await writer.FlushAsync(cancellationToken);
    }

    // 等待遍历任务完成，抛出遍历过程中出现的异常（比如权限不足、路径不存在）
    await enumerateTask;
}

补充说明 #

• 如果你需要返回JSON数组格式，只需要调整写入逻辑：先往流写[，之后每写入一个路径就做JSON序列化补逗号分隔，最后写完所有路径补]即可，主流的HTTP客户端、JSON解析器都支持解析这种分块传输的JSON响应。
• 如果你的项目用的是.NET 6以下版本，没有ForEachAsync和EnumerateFilesAsync，可以用Parallel.ForEach配合ChannelWriter.WriteAsync的同步调用实现，逻辑是一样的。
• 一定要传递请求的CancellationToken，客户端断开连接时会自动取消遍历任务，避免服务器做无用功。
• 不要为了图省事把所有结果攒成List再返回，那样就完全失去了流式返回低内存占用、首包响应快的优势。

内容的提问来源于stack exchange，提问作者Wojciech Szabowicz