Node.js服务器处理Excel文件：EC2 Nano大数据导出崩溃解决方案咨询

1. 数据库查询层面减载 #

• 分批拉取数据：别一次性把全量数据拉到内存，用MongoDB的skip()+limit()做分页查询，或者cursor.batchSize()控制单次拉取的条数，避免内存瞬间被占满。示例代码：

  // Node.js 示例：分批查询MongoDB
  const batchSize = 1000;
  let skip = 0;
  let hasMore = true;
  while (hasMore) {
    const batch = await db.collection('target-collection').find(yourQuery).skip(skip).limit(batchSize).toArray();
    if (batch.length === 0) {
      hasMore = false;
    } else {
      // 处理当前批次数据
      processBatchData(batch);
      skip += batchSize;
    }
  }
  

• 只取必要字段：用MongoDB的投影功能，只返回接口需要的字段，减少数据传输量和内存占用。比如：

  db.collection('target-collection').find(yourQuery, { requiredField1: 1, requiredField2: 1, _id: 0 })
  

2. Excel生成阶段优化 #

• 流式生成Excel：别把所有数据攒在内存里再生成文件，用支持流式写入的库，边处理数据边写文件。比如Node.js用xlsx-stream-writer，Python用openpyxl的流式模式，从根源避免内存溢出。
• 直接上传对象存储：生成的Excel别存在EC2本地，直接传到S3这类对象存储服务，生成后返回S3的预签名URL。既省本地磁盘空间，也方便后续访问。

3. 异步化接口流程 #

把同步接口改成异步任务模式，解决长时间请求导致的502超时问题：

• 用户调用接口时，接口直接返回一个任务ID，同时把查询参数推入任务队列。
• 后台Worker进程从队列取任务，分批查询数据、流式生成Excel并上传到S3。
• 任务完成后，把S3 URL和任务ID关联存入数据库，用户可以通过任务ID查询结果（轮询或主动推送）。
• 任务队列选轻量级的就行，比如Redis List、Celery（Python）、BullMQ（Node.js），比Kafka更容易部署维护，适合Nano实例的资源量级。

4. ETL+Kafka的简化实现思路 #

如果坚持要用Kafka，简化流程降低复杂度：

• 生产者：接口接收到请求后，把查询条件发送到Kafka主题，返回任务ID。
• 消费者：后台Consumer监听主题，取出查询条件后分批拉取MongoDB数据，每批处理完直接流式写入Excel。
• 结果落地：Excel生成后上传S3，把URL和任务ID绑定存入数据库，用户通过任务ID获取下载链接。
• 注意：Kafka适合高并发场景，若只是偶尔处理大数据请求，轻量队列更省资源。

5. 服务器小调整 #

• 开启Swap分区：Nano实例只有0.5GB内存，创建Swap分区可以缓解内存不足问题，避免直接崩溃。执行以下命令：

  sudo fallocate -l 1G /swapfile
  sudo chmod 600 /swapfile
  sudo mkswap /swapfile
  sudo swapon /swapfile
  

• 限制应用内存：比如Node.js启动时加--max-old-space-size=400，限制进程内存占用，防止占满实例内存。

内容的提问来源于stack exchange，提问作者AYIHAN UL HAQ