Azure Functions内存过高与重复Blob上传及邮件发送问题求助

一、内存占用过高优化方案 #

• 分批加载数据，避免全量入内存
  不要一次性把所有报表数据查询到内存集合中，改用分页查询（比如EF Core用Skip()+Take()组合），每次读取小批量数据，写完这批再取下一批。同时搭配AsNoTracking()关闭实体跟踪，减少额外内存开销。

• 直接写入Blob流，跳过内存中转
  摒弃先在MemoryStream生成完整CSV再上传的逻辑，直接打开Blob的写入流，逐行写入内容，从根源减少内存占用。示例代码：

  var blobClient = new BlobClient(connectionString, containerName, blobName);
  using var writeStream = await blobClient.OpenWriteAsync(overwrite: false);
  using var writer = new StreamWriter(writeStream);
  
  // 写入CSV表头
  await writer.WriteLineAsync("Column1,Column2,Column3");
  
  // 分页读取并写入数据
  int pageSize = 1000;
  int pageIndex = 0;
  while (true)
  {
      var dataBatch = await GetReportDataAsync(pageIndex, pageSize); // 自定义分页查询方法
      if (!dataBatch.Any()) break;
      
      foreach (var item in dataBatch)
      {
          await writer.WriteLineAsync($"{item.Col1},{item.Col2},{item.Col3}");
      }
      pageIndex++;
      await writer.FlushAsync(); // 及时刷入流，减少内存暂存
  }
  

• 优化CSV生成逻辑
  不要拼接大字符串再写入，用StringBuilder逐行构建单条记录，或者使用CsvHelper这类库的流式写入功能，避免内存堆积大量字符串。示例：

  using var writeStream = await blobClient.OpenWriteAsync(overwrite: false);
  using var writer = new StreamWriter(writeStream);
  using var csv = new CsvWriter(writer, CultureInfo.InvariantCulture);
  
  csv.WriteHeader<ReportItem>();
  await csv.NextRecordAsync();
  
  int pageSize = 1000;
  int pageIndex = 0;
  while (true)
  {
      var dataBatch = await GetReportDataAsync(pageIndex, pageSize);
      if (!dataBatch.Any()) break;
      
      await csv.WriteRecordsAsync(dataBatch);
      await writer.FlushAsync();
      pageIndex++;
  }
  

二、重复Blob上传与邮件发送解决方法 #

• 实现幂等性操作

  • 给Blob加唯一命名标识：用编排器的InstanceId或计时器触发的精确时间戳作为Blob名称后缀，比如report_20240520_1430_{instanceId}.csv，确保即使重复触发，生成的Blob不会重复。
  • 上传前检查Blob存在性：在活动函数中先判断目标Blob是否已存在，存在则直接跳过上传：

    var blobClient = new BlobClient(connectionString, containerName, blobName);
    if (await blobClient.ExistsAsync())
    {
        return "Blob已存在，跳过上传";
    }
    // 执行上传逻辑
    

• 修正计时器触发配置
  检查计时器的CRON表达式是否正确，避免出现重复触发（比如表达式错误导致每分钟多次触发）。同时在配置中开启UseMonitor为true，利用Azure Storage的分布式锁，避免多实例环境下重复触发。

• 控制Durable Functions重试策略
  如果是编排器重试导致的重复执行，在调用活动函数时指定RetryOptions限制重试次数，同时重试时先检查操作是否已完成：

  var retryOptions = new RetryOptions(TimeSpan.FromSeconds(5), 3);
  await context.CallActivityWithRetryAsync("UploadBlobAndSendEmail", retryOptions, input);
  

• 邮件发送的幂等处理
  用报表日期+编排器InstanceId作为唯一标识，存储在Azure Table Storage或Redis中，发送邮件前先查询该标识是否存在，存在则跳过发送。也可以在邮件标题中加入唯一标识，辅助收件人识别重复邮件。

内容的提问来源于stack exchange，提问作者Sandeep