Google Apps Script从Airtable拉取数据因过大无法完整传输的解决方法

问题背景 #

尝试使用Google Apps Script从Airtable拉取数据，但由于数据量过大，无法将全部数据传输至Google表格。修改循环语句后问题仍未解决，现有代码如下：

function importCA() {
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var ca_sheet = ss.getSheetByName("CA")
  var ca = getCA(); 
  ca_sheet.getRange(1,1, ca.length, ca[00].length).setValues(ca)
}

function getCA() {
  var ca = requestAirtable();
  //console.log("ca: ", ca)
  var ca_info = []
  ca_info.push(["Name", "Emails", "Districts", "Job Title", "Course", "Completed", "Start Dates"])
  for(i=0; i<ca.length; i++) {
   var fields = ca[i].fields;
   ca_info.push([
     fields.Name,
     fields.Emails,
     fields.Districts,
     fields.Title,
     fields.Course,
     fields.Completed,
     fields.StartDates,

   ])
  }
  console.log("CA ", ca_info)
  return ca_info;
}

function requestAirtable() {
  var url = "[removed]"
  var headers ={
    "Authorization": "[removed]",
    "Content-type" : "application/json"
  }
  var options = {
    headers: headers,
    method: "GET"
  }

  var response = UrlFetchApp.fetch(url, options).getContentText();
  var result = JSON.parse(response);console.log("result: ", result)

return result.records
}

问题原因 #

Airtable API默认单次请求最多返回100条记录，当数据量超过100条时，必须通过**分页参数offset**循环拉取所有数据，你的代码缺少这一核心逻辑，导致只能获取第一页的100条数据。

修改后的完整代码 #

function importCA() {
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var ca_sheet = ss.getSheetByName("CA");
  if (!ca_sheet) {
    ss.insertSheet("CA");
    ca_sheet = ss.getSheetByName("CA");
  }
  // 清空旧数据，避免新旧数据混合
  ca_sheet.clearContents();
  
  var ca = getCA(); 
  // 修复ca[00]为ca[0]，修正无效数组索引写法
  ca_sheet.getRange(1, 1, ca.length, ca[0].length).setValues(ca);
}

function getCA() {
  var ca = requestAirtable();
  var ca_info = [];
  ca_info.push(["Name", "Emails", "Districts", "Job Title", "Course", "Completed", "Start Dates"]);
  
  // 给循环变量i添加var声明，避免全局变量污染
  for(var i = 0; i < ca.length; i++) {
   var fields = ca[i].fields;
   // 处理字段为空的情况，避免setValues报错
   ca_info.push([
     fields.Name || "",
     fields.Emails || "",
     fields.Districts || "",
     fields.Title || "",
     fields.Course || "",
     fields.Completed || "",
     fields.StartDates || ""
   ]);
  }
  console.log("CA ", ca_info);
  return ca_info;
}

function requestAirtable() {
  var baseUrl = "[removed]"; // 替换为你的Airtable表格API地址
  var headers = {
    "Authorization": "[removed]", // 替换为你的API密钥
    "Content-type": "application/json"
  };
  var options = {
    headers: headers,
    method: "GET"
  };
  
  var allRecords = [];
  var offset = null;
  
  // 循环拉取所有分页数据
  do {
    // 拼接分页参数
    var url = baseUrl;
    if (offset) {
      url += "&offset=" + offset;
    }
    
    var response = UrlFetchApp.fetch(url, options).getContentText();
    var result = JSON.parse(response);
    
    // 合并当前页的记录到总数组
    allRecords = allRecords.concat(result.records);
    // 更新offset，用于下一页请求
    offset = result.offset;
    
    console.log("已拉取 " + allRecords.length + " 条数据");
  } while (offset); // 当offset存在时继续请求，直到没有更多数据
  
  return allRecords;
}

关键修改点说明 #

• 分页逻辑：在requestAirtable函数中添加do-while循环，通过offset参数逐页拉取所有记录，直到Airtable返回的offset为空（表示没有更多数据）
• 语法修复：把ca[00]改为ca[0]，修正无效的数组索引写法
• 全局变量避免：循环中的i添加var声明，防止污染全局作用域
• 空值处理：在生成数据行时添加|| ""，避免因字段为空导致setValues报错
• 数据清空：导入前清空表格旧数据，避免新旧数据混合

内容的提问来源于stack exchange，提问作者user20627878