ASP.NET异步多API调用优化咨询：分页查询性能问题

先指出原多页代码中的关键错误：

• client.GetStringAsync(baseURL + ID) 未使用await，导致respContent实际是Task<string>类型而非字符串，这会让后续空数组判断完全失效，甚至引发运行时错误，必须优先修正。

以下是具体优化点及优化后的代码：

核心优化点 #

1. 复用HttpClient实例 #

HttpClient是为长期复用设计的对象，每次循环新建会频繁创建、销毁TCP连接，严重拖慢性能，甚至可能耗尽系统socket资源，建议全局复用一个实例。

2. 用StringBuilder替代字符串拼接 #

原代码用respJSON += respContent拼接字符串，由于字符串是不可变类型，每次拼接都会生成新对象，内存开销大且效率低，改用StringBuilder可大幅提升拼接性能。

3. 提前配置固定请求头 #

Authorization这类固定请求头只需配置一次到复用的HttpClient中，无需每次请求重复添加。

4. 优化URL拼接逻辑 #

提前提取URL的固定部分，避免每次循环重复拼接，减少不必要的字符串操作。

5. 可选：并行请求同一ID的多页（需API支持） #

若目标API允许对同一个ID同时请求不同页码的数据，可将同一ID的多页请求改为并行执行，进一步提升速度（注意控制并发数，避免触发API限流）。

优化后的代码示例 #

全局复用HttpClient（建议放在类级别静态变量） #

// 全局复用的HttpClient实例，初始化时配置固定请求头
private static readonly HttpClient _httpClient = new HttpClient();
static YourClassName() // 类的静态构造函数
{
    string apiKey = "The-API-Key";
    _httpClient.DefaultRequestHeaders.Add("Authorization", "Basic " + apiKey);
}

优化后的多页查询方法 #

async Task<string> APIGetItemsByID(string ID)
{
    int page = 1;
    var stringBuilder = new StringBuilder();
    const string baseUrlTemplate = "https://API_URL/api/Items?pageSize=1000&Page={0}&id={1}";
    const int maxPage = 10;

    do
    {
        string url = string.Format(baseUrlTemplate, page, ID);
        string respContent = await _httpClient.GetStringAsync(url);
        
        if (respContent != "[]")
        {
            stringBuilder.Append(respContent);
        }
        
        page++;
    } while (respContent != "[]" && page <= maxPage);

    return stringBuilder.ToString();
}

可选：同一ID多页并行请求的实现（需API支持） #

如果API允许并行请求同一ID的不同页码，可用以下方式：

async Task<string> APIGetItemsByIDParallel(string ID)
{
    const int maxPage = 10;
    const string baseUrlTemplate = "https://API_URL/api/Items?pageSize=1000&Page={0}&id={1}";
    var tasks = new List<Task<string>>();

    // 发起所有页码的请求（或分批发起，避免并发过高）
    for (int page = 1; page <= maxPage; page++)
    {
        string url = string.Format(baseUrlTemplate, page, ID);
        tasks.Add(_httpClient.GetStringAsync(url));
    }

    // 等待所有请求完成
    string[] results = await Task.WhenAll(tasks);
    var stringBuilder = new StringBuilder();

    foreach (string result in results)
    {
        if (result != "[]")
        {
            stringBuilder.Append(result);
        }
    }

    return stringBuilder.ToString();
}

额外建议 #

• 加入异常处理：API请求可能失败，建议添加try-catch块处理网络异常、超时等情况。
• 确认API分页逻辑：部分API会返回总页数信息，无需循环到maxPage，可根据总页数终止循环，减少无效请求。
• 控制全局并发数：若同时处理大量ID，加上同一ID的并行请求，可能触发API限流，建议用SemaphoreSlim控制全局并发数。

内容的提问来源于stack exchange，提问作者Milacay