使用Node.js脚本做SQL到MongoDB迁移的事务一致性问题求助
现有代码核心问题
- 事务粒度错误:每个SQL查询单独开启MongoDB事务并独立提交,前面的查询写入成功后即使后续操作报错,已提交的事务无法回滚
- 异步流程失控:使用
forEach搭配回调函数执行异步操作,没有统一的异步流程控制,报错无法被外层捕获,操作顺序也不可控 - API调用错误:存在多处拼写错误,比如
session.startSession()应为session.startTransaction()、readConcers应为readConcern、session.emdSession()应为session.endSession() - 资源使用不合理:每个SQL查询都新建连接池,资源开销大且容易出现连接泄漏
修复方案
核心逻辑调整
- 先执行所有SQL查询,全部查询成功后再操作MongoDB,任意查询出错直接终止流程
- MongoDB仅开启1个全局事务,所有数据写入都在该事务内完成,全部写入成功才提交事务,任意环节报错直接回滚整个事务,保证所有数据要么全部写入成功,要么全部不写入
- 统一使用
async/await控制异步流程,错误统一用try/catch捕获
修复后完整代码
var MongoClient = require('mongodb').MongoClient; var sql = require('mssql'); // 注意你原逻辑用的是SQL Server的API,若使用MySQL需调整对应调用方式 const config = require('./assets/config'); var sqlConfig = { user: 'username', password: 'password', server: 'servername', database: 'databasename', port: 'portname', multipleStatements: true }; async function migrate() { const mongodbUrl = 'mongourl'; let mongoClient = null; let sqlPool = null; let session = null; try { // 1. 初始化SQL连接池和MongoDB连接 sqlPool = await sql.connect(sqlConfig); mongoClient = await MongoClient.connect(mongodbUrl, { useNewUrlParser: true, useUnifiedTopology: true }); // 2. 执行所有SQL查询,全部成功才往下走 const allQueryResults = []; for (const query of config.queryList) { const result = await sqlPool.request().query(query); allQueryResults.push(...result.recordset); } // 3. 开启MongoDB全局事务 session = mongoClient.startSession(); session.startTransaction({ readConcern: {level: 'snapshot'}, writeConcern: {w: 'majority'} }); // 4. 事务内写入所有数据 const collection = mongoClient.db('mongodbName').collection(config.mongoCollection); if (allQueryResults.length > 0) { await collection.insertMany(allQueryResults, {session}); } // 5. 所有操作成功,提交事务 await session.commitTransaction(); console.log('所有数据迁移成功,事务已提交'); } catch (error) { console.error('迁移失败,正在回滚:', error); // 只要有任意环节报错,回滚MongoDB事务 if (session) { await session.abortTransaction(); console.log('MongoDB事务已回滚,无数据写入'); } throw error; } finally { // 统一释放所有资源 if (session) { session.endSession(); } if (mongoClient) { await mongoClient.close(); } if (sqlPool) { await sql.close(); } } } migrate();
注意事项
- 确保你使用的MongoDB是副本集或者分片集群模式,单机版MongoDB不支持事务功能
- 如果单批数据量过大,可以调整逻辑拆分批次写入,每批次对应一个事务即可
内容的提问来源于stack exchange,提问作者knbibin
相关产品推荐
相关产品推荐

