You need to enable JavaScript to run this app. Parse Server现有GridFS存储文件迁移至AWS S3的无数据不一致方案咨询
优惠活动
大模型
产品
解决方案
定价
更多

Parse Server现有GridFS存储文件迁移至AWS S3的无数据不一致方案咨询

Parse Server GridFS 存量文件迁移至 AWS S3 可落地方案

一致性保障核心原则

全程遵循先双写、再迁移、后切读、最后清旧数据的流程,无强制停服窗口,所有操作都有回滚兜底方案,不会出现数据丢失或访问异常。

前置准备

  • 提前创建AWS S3 Bucket,配置好访问权限、跨域规则、生命周期策略,本地安装好parse-server-s3-adapter依赖
  • 全量备份MongoDB数据库,包含fs.files和fs.chunks两个GridFS核心集合
  • 统计GridFS内的文件总数、总占用空间、全量文件MD5清单,作为迁移后校验的基准
  • 业务侧暂时下线文件删除类操作入口,全量迁移校验完成后再恢复,避免迁移过程中两边数据同步错乱

分步操作流程

步骤1:开启双写模式,锁定新文件差异

修改Parse Server的文件适配器为自定义双写适配器,所有新上传的文件同时写入GridFS和S3,存量文件访问暂时还是走GridFS,保证迁移过程中新增文件不会遗漏。
配置示例代码:

const FSFilesAdapter = require('@parse/fs-files-adapter');
const S3Adapter = require('@parse/s3-adapter');

// 自定义双写适配器
class DualWriteAdapter {
  constructor(gridfsAdapter, s3Adapter) {
    this.gridfsAdapter = gridfsAdapter;
    this.s3Adapter = s3Adapter;
  }

  // 新文件双写
  async createFile(filename, data, contentType) {
    const gridfsRes = await this.gridfsAdapter.createFile(filename, data, contentType);
    // 同步写S3保证一致性,写入失败直接抛错回滚
    await this.s3Adapter.createFile(filename, data, contentType);
    return gridfsRes;
  }

  // 读写暂时都走GridFS兜底
  async deleteFile(filename) {
    return this.gridfsAdapter.deleteFile(filename);
  }

  async getFileData(filename) {
    return this.gridfsAdapter.getFileData(filename);
  }

  async getFileLocation(config, filename) {
    return this.gridfsAdapter.getFileLocation(config, filename);
  }
}

// 初始化两个存储适配器
const gridfsAdapter = new FSFilesAdapter({
  gridFS: true,
  mongoUrl: process.env.DATABASE_URI
});
const s3Adapter = new S3Adapter({
  accessKey: process.env.S3_ACCESS_KEY,
  secretKey: process.env.S3_SECRET_KEY,
  bucket: process.env.S3_BUCKET,
  region: process.env.S3_REGION
});

// Parse Server初始化时传入双写适配器
const parseServer = new ParseServer({
  // 原有其他配置不变
  filesAdapter: new DualWriteAdapter(gridfsAdapter, s3Adapter)
});

发布该配置上线,运行1~2天监控无文件写入报错后,进入存量迁移阶段。

步骤2:全量迁移存量GridFS文件到S3

独立运行迁移脚本,遍历所有GridFS存量文件,逐件上传到S3,已存在的文件自动跳过,避免重复占用带宽。
迁移脚本示例:

const mongodb = require('mongodb');
const AWS = require('aws-sdk');

// 初始化S3客户端
const s3 = new AWS.S3({
  accessKeyId: process.env.S3_ACCESS_KEY,
  secretAccessKey: process.env.S3_SECRET_KEY,
  region: process.env.S3_REGION
});
const TARGET_BUCKET = process.env.S3_BUCKET;

async function startMigration() {
  // 连接MongoDB
  const mongoClient = await mongodb.MongoClient.connect(process.env.DATABASE_URI);
  const db = mongoClient.db();
  const fsFiles = db.collection('fs.files');

  const totalFileCount = await fsFiles.countDocuments();
  let processed = 0, skipped = 0, uploaded = 0;
  console.log(`待迁移总文件数:${totalFileCount}`);

  // 游标批量遍历,避免大数量级下内存溢出
  const fileCursor = fsFiles.find({});
  while (await fileCursor.hasNext()) {
    const fileMeta = await fileCursor.next();
    const filename = fileMeta.filename;

    // 先检查S3是否已存在该文件
    try {
      await s3.headObject({ Bucket: TARGET_BUCKET, Key: filename }).promise();
      skipped++;
      processed++;
      continue;
    } catch (err) {
      // 文件不存在,执行上传逻辑
    }

    // 从GridFS读取文件流
    const fileStream = db.openDownloadStream(fileMeta._id);
    // 上传到S3
    await s3.upload({
      Bucket: TARGET_BUCKET,
      Key: filename,
      Body: fileStream,
      ContentType: fileMeta.contentType || 'application/octet-stream',
      ContentLength: fileMeta.length
    }).promise();

    uploaded++;
    processed++;
    // 每100条打印一次进度
    if (processed % 100 === 0) {
      console.log(`进度:${processed}/${totalFileCount} | 已上传:${uploaded} | 已跳过:${skipped}`);
    }
  }

  console.log(`迁移完成!总文件数:${totalFileCount} | 新上传:${uploaded} | 跳过已存在:${skipped}`);
  await mongoClient.close();
}

startMigration().catch(err => {
  console.error('迁移任务异常中断:', err);
  process.exit(1);
});

全量迁移完成后,运行校验脚本核对S3和GridFS的文件总数、文件MD5值,确保所有文件都完整上传。

步骤3:切读流量到S3,兜底走GridFS

双写规则保持不变,修改双写适配器的读逻辑,优先读S3,S3查不到时再回查GridFS并补传到S3,避免小概率漏传的文件访问异常。
修改后的读方法示例:

async getFileData(filename) {
  try {
    return await this.s3Adapter.getFileData(filename);
  } catch (err) {
    // 兜底读GridFS并补传
    const fileData = await this.gridfsAdapter.getFileData(filename);
    await this.s3Adapter.createFile(filename, fileData);
    return fileData;
  }
}

async getFileLocation(config, filename) {
  try {
    await s3.headObject({ Bucket: process.env.S3_BUCKET, Key: filename }).promise();
    return this.s3Adapter.getFileLocation(config, filename);
  } catch (err) {
    return this.gridfsAdapter.getFileLocation(config, filename);
  }
}

该版本上线后运行3~7天,监控业务无文件访问报错后,进入最终切流阶段。

步骤4:全量切到S3,清理冗余数据

直接将Parse Server的文件适配器替换为原生S3适配器,下线双写逻辑,所有文件读写都走S3。
业务稳定运行14天以上无文件相关异常后,再删除GridFS的fs.files和fs.chunks集合数据,释放MongoDB存储空间,最后恢复之前下线的文件删除功能。

异常回滚方案

任意阶段出现问题,都可以直接将文件适配器切回原GridFS配置,业务即可恢复正常,不会影响用户访问。

注意:迁移全程禁止提前删除GridFS的文件数据,必须等业务完全跑在S3上足够长时间后再清理,避免不可逆的数据丢失。

内容的提问来源于stack exchange,提问作者abuder

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 03:48:05