Parse Server现有GridFS存储文件迁移至AWS S3的无数据不一致方案咨询
Parse Server GridFS 存量文件迁移至 AWS S3 可落地方案
一致性保障核心原则
全程遵循先双写、再迁移、后切读、最后清旧数据的流程,无强制停服窗口,所有操作都有回滚兜底方案,不会出现数据丢失或访问异常。
前置准备
- 提前创建AWS S3 Bucket,配置好访问权限、跨域规则、生命周期策略,本地安装好
parse-server-s3-adapter依赖 - 全量备份MongoDB数据库,包含fs.files和fs.chunks两个GridFS核心集合
- 统计GridFS内的文件总数、总占用空间、全量文件MD5清单,作为迁移后校验的基准
- 业务侧暂时下线文件删除类操作入口,全量迁移校验完成后再恢复,避免迁移过程中两边数据同步错乱
分步操作流程
步骤1:开启双写模式,锁定新文件差异
修改Parse Server的文件适配器为自定义双写适配器,所有新上传的文件同时写入GridFS和S3,存量文件访问暂时还是走GridFS,保证迁移过程中新增文件不会遗漏。
配置示例代码:
const FSFilesAdapter = require('@parse/fs-files-adapter'); const S3Adapter = require('@parse/s3-adapter'); // 自定义双写适配器 class DualWriteAdapter { constructor(gridfsAdapter, s3Adapter) { this.gridfsAdapter = gridfsAdapter; this.s3Adapter = s3Adapter; } // 新文件双写 async createFile(filename, data, contentType) { const gridfsRes = await this.gridfsAdapter.createFile(filename, data, contentType); // 同步写S3保证一致性,写入失败直接抛错回滚 await this.s3Adapter.createFile(filename, data, contentType); return gridfsRes; } // 读写暂时都走GridFS兜底 async deleteFile(filename) { return this.gridfsAdapter.deleteFile(filename); } async getFileData(filename) { return this.gridfsAdapter.getFileData(filename); } async getFileLocation(config, filename) { return this.gridfsAdapter.getFileLocation(config, filename); } } // 初始化两个存储适配器 const gridfsAdapter = new FSFilesAdapter({ gridFS: true, mongoUrl: process.env.DATABASE_URI }); const s3Adapter = new S3Adapter({ accessKey: process.env.S3_ACCESS_KEY, secretKey: process.env.S3_SECRET_KEY, bucket: process.env.S3_BUCKET, region: process.env.S3_REGION }); // Parse Server初始化时传入双写适配器 const parseServer = new ParseServer({ // 原有其他配置不变 filesAdapter: new DualWriteAdapter(gridfsAdapter, s3Adapter) });
发布该配置上线,运行1~2天监控无文件写入报错后,进入存量迁移阶段。
步骤2:全量迁移存量GridFS文件到S3
独立运行迁移脚本,遍历所有GridFS存量文件,逐件上传到S3,已存在的文件自动跳过,避免重复占用带宽。
迁移脚本示例:
const mongodb = require('mongodb'); const AWS = require('aws-sdk'); // 初始化S3客户端 const s3 = new AWS.S3({ accessKeyId: process.env.S3_ACCESS_KEY, secretAccessKey: process.env.S3_SECRET_KEY, region: process.env.S3_REGION }); const TARGET_BUCKET = process.env.S3_BUCKET; async function startMigration() { // 连接MongoDB const mongoClient = await mongodb.MongoClient.connect(process.env.DATABASE_URI); const db = mongoClient.db(); const fsFiles = db.collection('fs.files'); const totalFileCount = await fsFiles.countDocuments(); let processed = 0, skipped = 0, uploaded = 0; console.log(`待迁移总文件数:${totalFileCount}`); // 游标批量遍历,避免大数量级下内存溢出 const fileCursor = fsFiles.find({}); while (await fileCursor.hasNext()) { const fileMeta = await fileCursor.next(); const filename = fileMeta.filename; // 先检查S3是否已存在该文件 try { await s3.headObject({ Bucket: TARGET_BUCKET, Key: filename }).promise(); skipped++; processed++; continue; } catch (err) { // 文件不存在,执行上传逻辑 } // 从GridFS读取文件流 const fileStream = db.openDownloadStream(fileMeta._id); // 上传到S3 await s3.upload({ Bucket: TARGET_BUCKET, Key: filename, Body: fileStream, ContentType: fileMeta.contentType || 'application/octet-stream', ContentLength: fileMeta.length }).promise(); uploaded++; processed++; // 每100条打印一次进度 if (processed % 100 === 0) { console.log(`进度:${processed}/${totalFileCount} | 已上传:${uploaded} | 已跳过:${skipped}`); } } console.log(`迁移完成!总文件数:${totalFileCount} | 新上传:${uploaded} | 跳过已存在:${skipped}`); await mongoClient.close(); } startMigration().catch(err => { console.error('迁移任务异常中断:', err); process.exit(1); });
全量迁移完成后,运行校验脚本核对S3和GridFS的文件总数、文件MD5值,确保所有文件都完整上传。
步骤3:切读流量到S3,兜底走GridFS
双写规则保持不变,修改双写适配器的读逻辑,优先读S3,S3查不到时再回查GridFS并补传到S3,避免小概率漏传的文件访问异常。
修改后的读方法示例:
async getFileData(filename) { try { return await this.s3Adapter.getFileData(filename); } catch (err) { // 兜底读GridFS并补传 const fileData = await this.gridfsAdapter.getFileData(filename); await this.s3Adapter.createFile(filename, fileData); return fileData; } } async getFileLocation(config, filename) { try { await s3.headObject({ Bucket: process.env.S3_BUCKET, Key: filename }).promise(); return this.s3Adapter.getFileLocation(config, filename); } catch (err) { return this.gridfsAdapter.getFileLocation(config, filename); } }
该版本上线后运行3~7天,监控业务无文件访问报错后,进入最终切流阶段。
步骤4:全量切到S3,清理冗余数据
直接将Parse Server的文件适配器替换为原生S3适配器,下线双写逻辑,所有文件读写都走S3。
业务稳定运行14天以上无文件相关异常后,再删除GridFS的fs.files和fs.chunks集合数据,释放MongoDB存储空间,最后恢复之前下线的文件删除功能。
异常回滚方案
任意阶段出现问题,都可以直接将文件适配器切回原GridFS配置,业务即可恢复正常,不会影响用户访问。
注意:迁移全程禁止提前删除GridFS的文件数据,必须等业务完全跑在S3上足够长时间后再清理,避免不可逆的数据丢失。
内容的提问来源于stack exchange,提问作者abuder
相关产品推荐
相关产品推荐

