使用Node.js上传至Google Cloud Storage仅完成部分上传的问题求助

嘿，我来帮你排查下这个半量上传的问题——毕竟你已经开了可恢复上传却还是踩坑，大概率是几个容易忽略的细节没处理好：

1. 异步上传的Promise没等跑完就终止了 #

你代码里的.then(() => { co...看起来被截断了，这很可能是核心问题：上传操作还在异步执行中，进程就提前结束了（比如Node.js环境下没等Promise resolve就退出），直接导致上传中途中断。

• 修复建议：用async/await替代链式调用，确保完整等待上传完成，同时别忘了处理错误：

  async function uploadImage() {
    try {
      await storage.bucket(bucketName).upload(filename, { resumable: true });
      console.log(`${filename} 上传完成啦`);
      // 所有后续操作（比如关闭进程、处理其他任务）都要放在这里，等上传完再执行
    } catch (err) {
      console.error('上传炸了:', err);
    }
  }
  
  uploadImage();
  

2. 可恢复上传的重试机制没配置到位 #

虽然开了resumable: true，但默认的重试策略可能应对不了网络波动、临时断开的情况，导致上传停在中断点就没继续了。

• 修复建议：手动配置重试参数，给上传加个“兜底重试”：

  await storage.bucket(bucketName).upload(filename, {
    resumable: true,
    retry: {
      retryDelayMultiplier: 2, // 每次重试延迟翻倍，避免频繁请求
      totalRetries: 5, // 最多重试5次
      retryableErrorCodes: ['ETIMEDOUT', 'ECONNRESET', '500', '502', '503', '504']
    }
  });
  

3. 本地文件读取出问题了 #

如果上传过程中本地文件被修改、或者读取权限不足，SDK可能只读到一半就停了，自然传上去的也是半拉文件。

• 修复建议：
  • 上传前先校验本地文件完整性，上传后对比GCP文件的MD5值，确保完全一致：

    const crypto = require('crypto');
    const fs = require('fs');
    
    // 计算本地文件MD5
    function getLocalFileMd5(filePath) {
      return new Promise((resolve, reject) => {
        const hash = crypto.createHash('md5');
        const stream = fs.createReadStream(filePath);
        stream.on('data', data => hash.update(data));
        stream.on('end', () => resolve(hash.digest('base64')));
        stream.on('error', reject);
      });
    }
    
    // 上传+校验流程
    async function uploadAndVerify() {
      const localMd5 = await getLocalFileMd5(filename);
      const [file] = await storage.bucket(bucketName).upload(filename, { resumable: true });
      const remoteMd5 = file.metadata.md5Hash;
      
      if (localMd5 !== remoteMd5) {
        console.error('文件传丢了！MD5不匹配');
        // 删掉不完整的文件，重新上传
        await file.delete();
        await storage.bucket(bucketName).upload(filename, { resumable: true });
      }
    }
    

  • 上传期间别碰本地文件，确保没有其他进程在修改或占用它。

4. 极端情况：GCP边缘缓存的临时问题 #

这种情况非常少见，但也有可能——GCP的边缘节点缓存了未上传完成的对象，导致你看到的是半拉文件。

• 修复建议：上传完成后主动刷新对象元数据，核对文件大小：

  const [file] = await storage.bucket(bucketName).upload(filename, { resumable: true });
  const [metadata] = await file.getMetadata();
  const localFileSize = fs.statSync(filename).size;
  
  if (metadata.size !== localFileSize.toString()) {
    console.error(`大小不对啊：本地${localFileSize}字节，GCP里只有${metadata.size}字节`);
    // 执行重传逻辑
  }
  

先从异步Promise的处理开始排查吧，这是最常见的诱因。

内容的提问来源于stack exchange，提问作者Roman