Apps Script中UrlFetchApp.fetch大文件受限，求替代方案

一、内置方案：基于UrlFetchApp分块下载 #

UrlFetchApp的响应大小限制为50MB，超过该阈值的内容会被截断，所以可以通过Range请求头分块获取文件内容，再拼接成完整CSV：

1. 获取文件总大小 #

先发送HEAD请求拿到文件的总字节数：

function getFileSize(url) {
  const options = {
    method: 'HEAD',
    muteHttpExceptions: true
  };
  const response = UrlFetchApp.fetch(url, options);
  return parseInt(response.getHeaders()['Content-Length'], 10);
}

2. 分块下载并拼接 #

设置每块大小（比如45MB，留足余量避免触发限制），循环请求每个数据块，注意只保留第一块的CSV表头：

function downloadLargeCsv(url) {
  const totalSize = getFileSize(url);
  const chunkSize = 45 * 1024 * 1024; // 45MB per chunk
  let fullContent = '';
  let start = 0;

  while (start < totalSize) {
    const end = Math.min(start + chunkSize - 1, totalSize - 1);
    const options = {
      headers: {
        'Range': `bytes=${start}-${end}`
      },
      muteHttpExceptions: true
    };
    const response = UrlFetchApp.fetch(url, options);
    let chunkContent = response.getContentText();

    // 非首次请求时，移除块内可能包含的重复表头
    if (start > 0) {
      const firstLineBreak = chunkContent.indexOf('\n');
      if (firstLineBreak !== -1) {
        chunkContent = chunkContent.slice(firstLineBreak + 1);
      }
    }

    fullContent += chunkContent;
    start = end + 1;
  }

  return fullContent;
}

3. 解析CSV并导入BigQuery #

用Utilities.parseCsv解析内容，再通过BigQuery高级服务分批插入（避免大数据量导致内存溢出）：

function importToBigQuery(csvContent, projectId, datasetId, tableId) {
  const rows = Utilities.parseCsv(csvContent);
  const headers = rows.shift(); // 提取表头

  // 转换为BigQuery兼容的行结构
  const bigQueryRows = rows.map(row => {
    const fields = {};
    headers.forEach((header, idx) => {
      fields[header] = row[idx];
    });
    return { json: fields };
  });

  // 分批插入，每批1000行
  const batchSize = 1000;
  for (let i = 0; i < bigQueryRows.length; i += batchSize) {
    const batch = bigQueryRows.slice(i, i + batchSize);
    BigQuery.Tabledata.insertAll(
      { rows: batch },
      projectId,
      datasetId,
      tableId
    );
  }
}

二、更高效的替代方案：直接让BigQuery读取外部URL #

如果CSV的URL是公开可访问的（或可通过BigQuery授权访问），完全可以跳过GAS的下载步骤，直接让BigQuery从URL加载数据，彻底避开GAS的大小限制：

1. 创建BigQuery外部表 #

通过BigQuery高级服务创建外部表，直接关联CSV URL，后续可直接查询：

function createExternalTable(projectId, datasetId, tableId, csvUrl) {
  const tableSchema = {
    externalDataConfiguration: {
      sourceUris: [csvUrl],
      sourceFormat: 'CSV',
      skipLeadingRows: 1,
      autodetect: true // 自动检测字段类型和表头
    }
  };
  BigQuery.Tables.insert(tableSchema, projectId, datasetId);
}

2. 直接加载数据到现有表 #

如果需要将数据导入到已有的BigQuery表，提交加载作业即可：

function loadCsvToExistingTable(projectId, datasetId, tableId, csvUrl) {
  const loadJob = {
    configuration: {
      load: {
        sourceUris: [csvUrl],
        destinationTable: {
          projectId: projectId,
          datasetId: datasetId,
          tableId: tableId
        },
        sourceFormat: 'CSV',
        skipLeadingRows: 1,
        writeDisposition: 'WRITE_APPEND', // 根据需求选WRITE_TRUNCATE覆盖或WRITE_APPEND追加
        autodetect: true
      }
    }
  };
  BigQuery.Jobs.insert(loadJob, projectId);
}

关键注意事项 #

• 分块下载依赖目标服务器支持Range请求头，大部分静态文件托管服务都支持。
• GAS有最长6分钟的执行时间限制，如果CSV过大导致分块次数太多，优先选择BigQuery直接加载方案。
• 使用BigQuery高级服务前，需在GAS编辑器中启用：点击「资源」→「高级Google服务」，找到BigQuery并开启。

内容的提问来源于stack exchange，提问作者user19976880