Azure Functions中ReadAsStreamAsync下载大文件超时问题求助

问题背景 #

• 需从ICO下载65MB压缩数据集，提取内部CSV并查询特定注册信息
• 本地代码运行正常，但Azure Functions（非高级计划）执行时：
  • 调用ReadAsStreamAsync出现超时
  • 切换专用生产计划、添加缓冲区读取后，下载至90%时触发内存不足报错
  • 仅高级计划可正常运行，但成本过高，不符合项目非盈利阶段需求

原始下载代码：

public async Task<Stream> DownloadLatestDataset()
{
    var path = $"media/about-the-ico/data-sets/register-of-data-controllers/register-of-data-controllers_{DateTime.Today:yyyy-MM-dd}.zip";
    var response = await client.GetAsync(path);

    if (!response.IsSuccessStatusCode)
    {
        throw new HttpRequestException($"Failed to download file: {response.StatusCode}");
    }

    var contentType = response.Content.Headers.ContentType?.MediaType;

    if (contentType == "text/html")
    {
        throw new DatasetException();
    }
    
    var stream = await response.Content.ReadAsStreamAsync();
    return stream;
}

低成本解决方案建议 #

1. 全流程流式处理，避免内存全量加载 #

核心思路是边下载、边解压、边逐行读取CSV，找到目标数据后立即终止处理，彻底避免把65MB压缩包或更大的CSV全量加载到内存：

public async Task<T> QuerySpecificRegistration<T>(Func<T, bool> filter)
{
    var path = $"media/about-the-ico/data-sets/register-of-data-controllers/register-of-data-controllers_{DateTime.Today:yyyy-MM-dd}.zip";
    // 直接获取响应流，跳过GetAsync的内存缓存环节
    using var responseStream = await client.GetStreamAsync(path);
    // 流式操作ZipArchive，无需保存整包到内存
    using var zipArchive = new ZipArchive(responseStream, ZipArchiveMode.Read);
    var csvEntry = zipArchive.Entries.FirstOrDefault(e => e.Name.EndsWith(".csv", StringComparison.OrdinalIgnoreCase));
    if (csvEntry == null) throw new DatasetException("CSV文件未在压缩包中找到");

    // 流式读取CSV，逐行解析并匹配目标数据
    using var csvStream = csvEntry.Open();
    using var reader = new StreamReader(csvStream);
    using var csvReader = new CsvReader(reader, CultureInfo.InvariantCulture);

    await csvReader.ReadAsync();
    csvReader.ReadHeader();
    while (await csvReader.ReadAsync())
    {
        var record = csvReader.GetRecord<T>();
        if (filter(record))
        {
            return record;
        }
    }
    return default;
}

2. 优化Azure Functions基础配置（消费计划可用） #

在host.json中调整资源和超时设置，适配大文件处理：

{
    "functionTimeout": "00:10:00", // 延长超时至10分钟（消费计划上限）
    "extensions": {
        "http": {
            "maxOutstandingRequests": 10,
            "maxConcurrentRequests": 10 // 降低并发，减少资源竞争
        }
    },
    "resourceManagement": {
        "memory": {
            "max": 1536 // 分配最大内存1.5GB（消费计划上限）
        }
    }
}

3. 轻量化缓存策略 #

• 避免缓存整个CSV，仅缓存已查询过的目标注册信息，可使用Azure Storage Blob免费层或Redis免费层存储
• 因数据集按日期命名，每天仅需下载一次，将解压后的CSV（或仅常用查询片段）缓存到Blob，后续查询直接读取缓存，跳过重复下载和解压

4. 混合使用Azure Logic Apps免费层 #

用免费层Logic Apps承担下载、解压、存储Blob的任务：

• 配置定时触发（每日一次），自动下载当日压缩包
• 内置解压动作提取CSV，保存到Azure Blob免费存储
• Azure Functions直接从Blob读取CSV片段进行查询，降低函数的资源消耗

内容的提问来源于stack exchange，提问作者Ben