基于MEAN栈实现动态CSV解析及MongoDB动态Schema写入

我明白你现在的需求：已经通过Angular把CSV文件上传到服务器了，想要解析任意结构的CSV，并且不需要硬编码MongoDB的Schema，直接把动态结构的数据存入数据库。下面是具体的实现步骤和代码修改方案：

你已经用multer完成了文件上传，接下来用fast-csv解析CSV的核心是开启headers: true选项——它会自动把CSV表头作为对象的键，每一行数据对应为对象的值。另外开启autoParse: true可以自动转换基础数据类型（比如数字、布尔值），不用你手动处理类型转换。

Mongoose默认是强Schema约束，但我们可以通过设置strict: false创建一个能接受任意字段的Schema，这样不管CSV有什么字段，都能直接存入数据库。如果需要把不同的CSV存入不同集合（比如按文件名区分），还可以动态创建对应集合的Model。

把解析和数据库插入逻辑整合到上传接口里，同时处理错误和清理临时文件，避免服务器磁盘被冗余文件占用：

const express = require('express');
const router = express.Router();
const multer = require('multer');
const csv = require("fast-csv");
const fs = require('fs');
const mongoose = require('mongoose'); // 确保已引入mongoose

var DIR = './uploads/';
var upload = multer({ dest: DIR }).single('file');

// 上传并解析CSV的接口
router.post('/uploads', function (req, res, next) {
  upload(req, res, async function (err) {
    if (err) {
      console.log(err);
      return res.status(422).send("上传时发生错误");
    }

    // 上传成功，开始处理CSV
    const filePath = req.file.path;
    const originalFileName = req.file.originalname;
    // 用文件名（去掉.csv后缀）作为MongoDB集合名，也可以让前端传自定义集合名
    const collectionName = originalFileName.replace(/\.csv$/i, '');

    try {
      // 1. 动态创建MongoDB Model，允许任意字段存入
      const dynamicSchema = new mongoose.Schema({}, { strict: false });
      // 避免重复创建Model：如果集合已存在则直接获取，否则创建新Model
      const DynamicModel = mongoose.models[collectionName] || mongoose.model(collectionName, dynamicSchema);

      // 2. 解析CSV文件
      const rows = [];
      await new Promise((resolve, reject) => {
        csv.parseFile(filePath, {
          headers: true,
          autoParse: true, // 自动转换数字、布尔值等类型
          encoding: 'utf8'
        })
        .on('data', (row) => {
          // 过滤空行（可选）
          if (Object.values(row).some(val => val !== null && val !== '')) {
            rows.push(row);
          }
        })
        .on('end', resolve)
        .on('error', reject);
      });

      // 3. 批量插入数据到MongoDB
      if (rows.length > 0) {
        await DynamicModel.insertMany(rows);
        res.status(200).send(`成功导入 ${rows.length} 条数据到集合 ${collectionName}`);
      } else {
        res.status(200).send("CSV文件中没有有效数据");
      }

      // 4. 清理上传的临时文件
      fs.unlinkSync(filePath);
    } catch (parseOrDbErr) {
      console.error(parseOrDbErr);
      // 即使出错也要清理临时文件，避免磁盘占用
      if (fs.existsSync(filePath)) {
        fs.unlinkSync(filePath);
      }
      res.status(500).send("解析CSV或存入数据库时发生错误");
    }
  });
});

module.exports = router;

• 集合名自定义：上面用文件名作为集合名，你也可以让前端在上传时通过请求体传递collectionName字段，这样更灵活。
• 大文件处理：如果CSV文件非常大，insertMany可能会有性能问题，可以把数据分成批次插入（比如每1000条插一次）。
• 特殊类型处理：autoParse能处理基础类型，如果有特殊格式（比如自定义日期），可以在data事件里手动转换对应的字段。

内容的提问来源于stack exchange，提问作者Sankirtan Moturi