如何用Node.js将Twitter流数据自动存入MongoDB集合？

你的代码现在存不进MongoDB主要有两个核心问题：没有正确建立MongoDB连接，以及findAndModify的参数写法错误。我来一步步帮你修正：

第一步：安装必要依赖 #

确保你已经安装了mongodb和twitter-stream-api包，如果没装的话，执行：

npm install mongodb twitter-stream-api

第二步：完整的可运行代码 #

const TwitterStream = require('twitter-stream-api');
const { MongoClient } = require('mongodb');

// 你的Twitter密钥
const keys = { 
  consumer_key: "xxxx", 
  consumer_secret: "xxxx", 
  token: "xxxx", 
  token_secret: "xxxx" 
};

// MongoDB连接URL，这里指定数据库名为twitter_db（你可以改成自己的）
const mongoUrl = 'mongodb://localhost:27017/twitter_db';

// 初始化Twitter流
const Twitter = new TwitterStream(keys, false);

// 先连接MongoDB，再启动流
MongoClient.connect(mongoUrl, { useNewUrlParser: true, useUnifiedTopology: true })
  .then(client => {
    console.log('成功连接到MongoDB');
    // 获取指定的集合（这里是tweets集合）
    const tweetsCollection = client.db().collection('tweets');

    // 启动Twitter流，跟踪'travel'关键词
    Twitter.stream('statuses/filter', { track: 'travel' }, function(stream) {
      stream.on('data', async (data) => {
        try {
          // 使用findOneAndUpdate（findAndModify已被废弃），upsert: true表示不存在则插入
          const result = await tweetsCollection.findOneAndUpdate(
            { id: data.id_str }, // 注意用id_str而不是id，避免数字精度问题
            { $set: data },
            { upsert: true, returnDocument: 'after' }
          );
          console.log('数据已存入/更新:', result.value.id_str);
        } catch (err) {
          console.error('数据库操作错误:', err);
        }
      });

      stream.on('error', (err) => {
        console.error('Twitter流错误:', err);
      });

      stream.on('end', () => {
        console.log('流已结束');
        client.close();
      });
    });
  })
  .catch(err => {
    console.error('MongoDB连接失败:', err);
  });

关键问题解释 #

• 未连接MongoDB：你之前的代码里直接用db.tweets，但db对象根本没有被初始化连接到实际的数据库。上面的代码用MongoClient先建立连接，获取到数据库和集合对象后再进行操作。
• findAndModify的错误：
  • 你写的{'id': 'data.id'}是把字符串'data.id'作为查询条件，而不是取data.id的值，这会导致永远匹配不到文档；
  • 另外Twitter推文的id是大数字，在MongoDB中存储可能会有精度问题，建议用id_str（字符串类型的id）来作为唯一标识；
  • findAndModify已经被MongoDB官方废弃，推荐使用findOneAndUpdate，参数也做了对应调整（比如returnDocument: 'after'替代原来的new: true）。
• 指定数据库名：在MongoDB连接URL里mongodb://localhost:27017/twitter_db，最后的twitter_db就是你要使用的数据库名，连接后通过client.db()就能获取到这个数据库对象，再指定集合tweets。

额外提示 #

• 确保你的MongoDB服务已经在本地运行（默认端口27017）；
• 处理异步操作时用async/await或者Promise的.then()，避免回调地狱；
• 记得监听流的error和end事件，方便排查问题和关闭数据库连接。

内容的提问来源于stack exchange，提问作者codex