Azure Function TCP连接过多问题及连接控制方法咨询

问题根源 #

你当前的代码循环逐个调用AddAsync往队列加消息，默认情况下IAsyncCollector的实现会频繁创建新TCP连接；再加上存储SDK默认连接池未做限制，短时间内连接数暴增，且TCP连接的TIME_WAIT状态（或SDK连接池回收机制）导致连接挂起4分钟才关闭，最终引发服务器资源耗尽崩溃。

具体解决方案 #

1. 批量提交队列消息，减少连接调用次数

不要循环逐个调用AddAsync，改成批量提交，大幅降低连接创建频率：

// 先收集所有待提交的条目
var batchItems = new List<Import1QueueItem>();
foreach (var item in itemsToProcess)
{
    batchItems.Add(new Import1QueueItem{ItemId = item.Id, Code = item.Code });
}

// 按批次提交，每批次100条（可根据实际调整）
int batchSize = 100;
for (int i = 0; i < batchItems.Count; i += batchSize)
{
    var currentBatch = batchItems.Skip(i).Take(batchSize);
    foreach (var item in currentBatch)
    {
        await queueImport1.AddAsync(item, cancellationToken).ConfigureAwait(false);
    }
    // 强制刷新缓冲，避免连接长期占用
    await queueImport1.FlushAsync(cancellationToken).ConfigureAwait(false);
}

也可以直接用Azure存储SDK的批量添加方法，进一步减少连接开销：

// 手动创建QueueClient（可通过依赖注入或直接初始化）
var queueClient = new QueueClient(yourStorageConnString, QueueImport1);
var messageList = batchItems.Select(item => new BinaryData(JsonSerializer.Serialize(item))).ToList();
// 一次性提交整批消息
await queueClient.AddRangeAsync(messageList, cancellationToken);

2. 配置存储SDK连接池限制

在host.json中添加存储连接池配置，控制最大并发连接数：

{
  "version": "2.0",
  "extensions": {
    "queues": {
      "batchSize": 16,
      "maxConcurrentCalls": 16
    }
  },
  "Values": {
    "Storage:MaxConnections": "200" // 根据服务器资源调整，比如200-500
  }
}

或者在代码中手动配置连接池参数：

var queueOptions = new QueueClientOptions();
queueOptions.Transport = new HttpClientTransport(new HttpClient(new HttpClientHandler
{
    MaxConnectionsPerServer = 200 // 限制单个存储服务器的最大连接数
}));
var queueClient = new QueueClient(yourStorageConnString, QueueImport1, queueOptions);

3. 调整Function并发设置

如果是处理队列的Worker函数，限制并发处理数，减少对存储队列的连接需求：

{
  "version": "2.0",
  "extensions": {
    "queues": {
      "batchSize": 8, // 每次拉取的消息数，降低批量拉取规模
      "maxConcurrentCalls": 16 // 同时处理的消息数，根据资源调整
    }
  }
}

4. 缩短闲置连接回收时间

在Azure App Service的应用设置中添加以下配置，缩短闲置TCP连接的关闭时间：

• WEBSITE_TCP_IDLE_TIMEOUT: 设置为600（秒），闲置连接10分钟后关闭
• WEBSITE_TCP_KEEPALIVE_INTERVAL: 设置为300（秒），保持活跃连接，减少重复创建

内容的提问来源于stack exchange，提问作者mhttk