使用Content-Range分块上传Google Drive文件至GCS遇问题求助

问题根源分析 #

这些问题既有Google Drive和GCS服务的特性差异原因，也有传输逻辑未贴合服务要求的操作问题，并非必须这么复杂。以下是针对性的解决方法：

1. Drive drive.files.get 超时与Range头不遵守 #

• 超时问题：googleapis包的默认请求客户端有时不会正确应用timeout参数，尤其是分块请求场景。可以用Promise.race手动添加超时逻辑：

const fetchChunk = drive.files.get(
  { fileId: file.id, alt: "media" },
  {
    responseType: "arraybuffer",
    headers: { Range: `bytes=${range[0]}-${range[1]}` },
  }
);

// 自定义10秒超时，可根据实际场景调整时长
const timeoutPromise = new Promise((_, reject) =>
  setTimeout(() => reject(new Error("请求超时")), 10000)
);

try {
  const chunkResponse = await Promise.race([fetchChunk, timeoutPromise]);
  // 处理分块数据
} catch (err) {
  if (err.message === "请求超时") {
    // 执行重试或超时处理逻辑
  }
}

• Range头不遵守：Drive的Range请求并非严格按指定范围返回，这是服务端基于文件存储结构的弹性调整。绝对不要依赖请求的Range计算下一块偏移，必须解析响应头的Content-Range获取实际返回的字节范围：

const chunkResponse = await drive.files.get(...);
const contentRange = chunkResponse.headers['content-range'];
// 解析格式：bytes start-end/total
const match = contentRange.match(/bytes (\d+)-(\d+)\/\d+/);
const actualStart = parseInt(match[1], 10);
const actualEnd = parseInt(match[2], 10);
// 下一块的起始偏移是 actualEnd + 1

2. GCS分块上传挂起与字节缺失 #

• 后续分块挂起：GCS可恢复上传要求每块的起始偏移必须严格等于上一块的结束偏移+1。如果用自己假设的偏移而非Drive返回的实际范围，会触发GCS的校验拦截，导致请求挂起。
• 字节缺失1字节：问题出在手动计算的contentRangeStart + buffer.byteLength - 1——当Drive返回的分块比请求的小时，这个计算会和实际字节范围不符。正确做法是直接用Drive响应的actualStart和actualEnd构造GCS的Content-Range，同时从GCS的308响应里获取已上传范围，作为下一次的起始：

// 从Drive响应拿到actualStart和actualEnd后
const res = await axios.put(resumableUpload.url, chunkResponse.data, {
  headers: {
    "Content-Type": "application/octet-stream",
    "Content-Length": chunkResponse.data.byteLength,
    "Content-Range": `bytes ${actualStart}-${actualEnd}/${file.size}`
  },
  validateStatus: (status) => [200, 201, 308].includes(status),
});

// 处理308响应，更新下一块的起始偏移
if (res.status === 308) {
  const uploadedRange = res.headers['range'];
  contentRangeStart = parseInt(uploadedRange.split('=')[1].split('-')[1], 10) + 1;
}

另外，GCS建议分块大小对齐到256KB倍数，最小块（除最后一块）不小于5MB，过小的块也可能导致上传异常。

3. HTTP2协议的范围问题 #

Drive的HTTP2端点对Range请求的兼容性比HTTP1.1差，会放大范围偏移的异常，建议暂时切换回HTTP1.1处理分块请求。

总结 #

只要严格依赖服务响应头返回的实际字节范围，而非假设请求参数被严格遵守，就能规避大部分问题。这些服务间的特性差异确实存在，但通过调整传输逻辑可以大幅简化流程。

内容的提问来源于stack exchange，提问作者TeemuK