如何在Node.js中低成本高效插入大量小数据流到数据库？

数据结构与业务场景 #

每个实体每50ms发送字节流数据，经转换和批处理后生成如下结构的对象：

{
  "id": "000000000000001",
  "eventTime": "2024-11-11T11:11:11.111+00:00",
  "data": [
    {
      "timestamp": "1731319871",
      "object1": {
        "key1": 1,
        "key2": "2",
        ...
      },
      "object2": {
        "key1": "1",
        "key2": 2.1,
        ...
      }
    },
    ...
  ]
}

• data数组长度约20，对应1秒的数据（每50ms接收一次）
• 存在5种对象类型，每种需插入至不同表/集合，单个实体每秒触发5次插入
• 目标：单Node.js实例处理1000个实体（每秒5000次插入），后续计划运行10个实例扩展至10000个实体

已尝试方案及问题 #

• MongoDB（含双分片集群）：使用insertMany()处理500个实体时，写入速度无法跟上；监控发现实际插入量达5000次，是预期2500次（5*500）的两倍；双分片集群性能仍不达标，且托管分片MongoDB成本过高
• PostgreSQL：采用JSON类型存储data列，性能表现比MongoDB更差
• JSON文件存储：可解决存储问题，但无法支持按ID的近实时数据分析

优化建议 #

1. 先解决重复插入问题 #

插入量翻倍是无效开销，必须优先排查：

• 检查批处理逻辑，确认是否存在重复绑定事件监听、队列重复消费等导致同一份数据多次提交的情况
• 给每个实体添加插入计数日志，对比预期值定位问题源头，消除无效写入才能真正提升有效吞吐量

2. 替换为时序数据库 #

你的场景属于高吞吐量时序数据+按ID近实时分析，传统文档/关系型数据库并非最优选择，建议换用专门的时序数据库：

• InfluxDB：原生支持高写入吞吐量，按标签（如id）查询性能优异，支持批量写入，单实例轻松支撑每秒万级写入；社区版免费，部署成本低
• TimescaleDB：基于PostgreSQL扩展，兼容SQL，适合需要复杂分析的场景，写入性能比原生PostgreSQL提升一个数量级，支持自动分区优化

3. 现有数据库的应用层优化 #

如果暂时无法替换数据库，可从以下方向优化写入性能：

• 增大批量写入批次：MongoDB的insertMany()默认批次并非最优，可将同类型对象攒至更大批次（如100条/批）再提交，减少网络IO开销
• 异步批量提交：在Node.js中用队列（如bullmq）缓存同类型数据，定时（如100ms）或达到指定数量后批量写入，避免单条/小批次频繁请求数据库
• 优化索引与分片：写入阶段关闭非必要索引，后续按需重建；MongoDB分片需确保分片键合理（如id+timestamp复合分片），避免热点分片导致性能瓶颈

4. 调整存储架构逻辑 #

• 合并插入操作：将单个实体每秒的5次插入合并为一次多表批量写入，或用数据库批量接口一次性提交同类型的所有实体数据，减少数据库连接开销
• 分层存储：近实时数据（如最近1小时）存于时序数据库/内存缓存用于分析，历史数据归档至廉价对象存储，降低实时存储的性能压力

内容的提问来源于stack exchange，提问作者Balázs Ankes