如何在Lambda中取消体积过大或下载速度过慢的文件下载任务？

方案1：基于Axios实现双阈值中止 #

Axios可以通过CancelToken+下载进度回调同时实现大小和时间限制，示例代码如下：

const axios = require('axios');
// 预设阈值：最大10MB，最长下载时间5秒
const MAX_DOWNLOAD_BYTES = 10 * 1024 * 1024;
const MAX_DOWNLOAD_MS = 5 * 1000;

async function downloadWithLimit(url) {
  const source = axios.CancelToken.source();
  // 下载超时定时器
  const timeoutTimer = setTimeout(() => {
    source.cancel('download_timeout');
  }, MAX_DOWNLOAD_MS);

  let downloadedBytes = 0;
  try {
    const response = await axios.get(url, {
      cancelToken: source.token,
      onDownloadProgress: (progressEvent) => {
        downloadedBytes = progressEvent.loaded;
        // 超出大小阈值直接中止
        if (downloadedBytes > MAX_DOWNLOAD_BYTES) {
          source.cancel('download_size_exceeded');
        }
      }
    });
    clearTimeout(timeoutTimer);
    return response.data;
  } catch (err) {
    clearTimeout(timeoutTimer);
    if (axios.isCancel(err)) {
      // 区分中止原因做对应处理
      if (err.message === 'download_timeout') {
        throw new Error('下载超过最长时间限制');
      } else if (err.message === 'download_size_exceeded') {
        throw new Error('下载超过最大体积限制');
      }
    }
    throw err;
  }
}

注意：如果axios版本≥v0.22.0，也可以用标准AbortController替代CancelToken，用法和下方node-fetch方案一致

方案2：基于node-fetch实现双阈值中止 #

node-fetch直接兼容流式读取和标准AbortController，内存占用更低，更适合Lambda场景，示例代码如下：

const fetch = require('node-fetch');
// 预设阈值：最大10MB，最长下载时间5秒
const MAX_DOWNLOAD_BYTES = 10 * 1024 * 1024;
const MAX_DOWNLOAD_MS = 5 * 1000;

async function downloadWithLimit(url) {
  const controller = new AbortController();
  const timeoutTimer = setTimeout(() => {
    controller.abort();
  }, MAX_DOWNLOAD_MS);

  let downloadedBytes = 0;
  try {
    const response = await fetch(url, {
      signal: controller.signal
    });
    if (!response.ok) throw new Error('下载请求返回异常');

    const reader = response.body.getReader();
    const chunks = [];
    while (true) {
      const { done, value } = await reader.read();
      if (done) break;
      
      downloadedBytes += value.length;
      if (downloadedBytes > MAX_DOWNLOAD_BYTES) {
        controller.abort();
        throw new Error('下载超过最大体积限制');
      }
      chunks.push(value);
    }

    clearTimeout(timeoutTimer);
    return Buffer.concat(chunks);
  } catch (err) {
    clearTimeout(timeoutTimer);
    if (err.name === 'AbortError') {
      throw new Error('下载超过最长时间限制');
    }
    throw err;
  }
}

Lambda侧配套优化建议 #

• AWS Lambda入站流量不收取费用，仅收取出站到公网的流量费用，大文件下载产生的额外成本主要来自执行时长消耗。
• 可以将文件下载逻辑和后续业务处理逻辑拆分为两个独立Lambda函数，为下载逻辑单独设置更低的并发配额，避免异常下载请求触达全局速率限制影响核心业务。
• 可在下载逻辑前增加URL合法性校验、域名白名单校验，进一步降低恶意请求风险。

内容的提问来源于stack exchange，提问作者Roger Heathcote