Node.js调用Twitter API存MLab MongoDB时仅传一条即崩溃：重复键错误

先直接点出问题核心：你遇到的E11000 duplicate key error是MongoDB的唯一键约束冲突——你试图插入的文档里，_id字段的值已经存在于集合中了。加上UnhandledPromiseRejectionWarning，说明你的代码还没处理异步操作的异常，导致程序直接崩溃。下面分步骤给你解决思路：

1. 先搞懂为什么会出现_id重复 #

MongoDB默认会给每个新插入的文档自动生成唯一的ObjectId作为_id。出现重复只有两种可能：

• 你在准备插入的推文对象里手动指定了重复的_id（比如循环里不小心复用了同一个ObjectId，或者错误把某个重复字段当成了_id）；
• 你批量插入的数组里，存在_id相同的文档（比如重复处理了同一条推文）。

2. 针对性解决_id重复问题 #

情况1：手动设置了_id字段 #

如果你的代码里有类似下面的写法，直接删掉手动设置的_id，让MongoDB自动生成唯一值：

// ❌ 错误示例：手动指定了重复的_id
const tweetToSave = {
  _id: someReusedId, // 这里重复了
  text: tweet.text,
  user: tweet.user
};

// ✅ 正确做法：去掉_id，交给MongoDB自动生成
const tweetToSave = {
  text: tweet.text,
  user: tweet.user,
  tweetId: tweet.id_str, // 建议存Twitter官方的推文唯一ID，方便后续去重
  createdAt: new Date(tweet.created_at)
};

情况2：批量插入时存在重复文档 #

如果你用insertMany或bulkWrite批量插入，先根据Twitter的唯一推文ID（tweet.id_str）去重，再插入：

// 假设从Twitter API拿到的原始推文数组是rawTweets
const uniqueTweets = Array.from(
  new Map(rawTweets.map(tweet => [tweet.id_str, tweet])).values()
);

// 转换为数据库插入格式
const docsToInsert = uniqueTweets.map(tweet => ({
  tweetId: tweet.id_str,
  text: tweet.text,
  userId: tweet.user.id_str,
  createdAt: new Date(tweet.created_at)
}));

// 执行插入
await db.collection('test-collection').insertMany(docsToInsert);

3. 处理Promise异常，避免程序崩溃 #

错误里的UnhandledPromiseRejectionWarning是因为你没捕获异步操作的错误，导致程序崩溃。用try/catch或者.catch()包裹你的异步逻辑：

async function fetchAndSaveTweets() {
  try {
    // 调用Twitter API获取数据
    const rawTweets = await getTwitterApiData();
    // 去重+处理数据
    const docsToInsert = processTweets(rawTweets);
    // 插入数据库
    await db.collection('test-collection').insertMany(docsToInsert);
    console.log('推文数据插入成功');
  } catch (err) {
    console.error('操作失败:', err);
    // 针对重复键错误做特殊处理
    if (err.code === 11000) {
      console.log('存在重复推文，已跳过插入');
    }
  }
}

4. 可选：给推文ID加唯一索引（防患于未然） #

为了彻底避免重复插入同一条推文，可以给tweetId字段（对应Twitter的id_str）添加唯一索引，这样MongoDB会自动阻止重复插入：

// 只需执行一次，建议在数据库初始化时运行
db.collection('test-collection').createIndex({ tweetId: 1 }, { unique: true });

内容的提问来源于stack exchange，提问作者Harrison Cramer