如何用Next.js（前端）和NestJS（后端）实现Excel数据提取入库？

需求概述 #

• 用户通过Next.js前端上传.xlsx格式的银行流水Excel文件
• 文件发送至NestJS后端处理
• 后端需完成以下操作：
  • 读取并解析Excel文件
  • 将行数据转换为JSON格式
  • 支持将Excel列名映射到数据库字段（可选）
  • 验证数据合法性
  • 将提取的数据存入数据库（使用Prisma/TypeORM）

已尝试/计划的方案 #

• Next.js前端采用multipart/form-data格式上传文件
• NestJS后端使用@nestjs/platform-express和FileInterceptor处理文件上传

常见疑问及解决方案 #

1. NestJS中读取Excel文件的最佳库是什么？ #

推荐使用xlsx（SheetJS），它是目前最流行的Excel处理库，支持.xlsx、.xls等多种格式，API简洁且社区活跃。另外，exceljs也是不错的选择，它提供了流式处理能力，更适合大型文件。

安装命令：

# 安装xlsx
npm install xlsx
# 或安装exceljs
npm install exceljs

2. 如何正确解析Excel行数据？ #

以xlsx为例，解析流程如下：

1. 读取上传的文件Buffer
2. 将Buffer转换为工作簿对象
3. 获取目标工作表（通常取第一个工作表）
4. 将工作表数据转换为JSON格式（注意处理表头和数据行）

示例代码：

import * as XLSX from 'xlsx';

// 假设file是上传的Express.Multer.File对象
const workbook = XLSX.read(file.buffer, { type: 'buffer' });
const sheetName = workbook.SheetNames[0];
const worksheet = workbook.Sheets[sheetName];

// 转换为JSON，header: 1表示将第一行作为表头
const jsonData = XLSX.utils.sheet_to_json(worksheet, { header: 1 });

// 提取表头和数据行
const headers = jsonData[0];
const rows = jsonData.slice(1);

// 转换为结构化对象
const formattedData = rows.map(row => {
  return headers.reduce((obj, header, index) => {
    obj[header] = row[index];
    return obj;
  }, {} as Record<string, any>);
});

3. 如何安全地将Excel列映射至数据库字段？ #

安全映射的核心是白名单控制和显式配置，避免任意字段映射导致的数据库风险：

• 定义映射配置：创建允许的映射规则，比如{ 'Date': 'transactionDate', 'Debit': 'debitAmount', 'Credit': 'creditAmount', 'Description': 'description' }
• 验证表头：检查Excel的表头是否在允许的映射键中，过滤掉未配置的列
• 转换字段：根据映射规则将Excel列名转换为数据库字段名，确保字段名符合数据库定义
• 类型转换：将Excel中的数据转换为对应数据库字段的类型（比如日期字符串转为Date对象，金额转为数字）

示例代码：

// 定义映射规则
const columnMapping = {
  'Date': 'transactionDate',
  'Debit': 'debitAmount',
  'Credit': 'creditAmount',
  'Description': 'description'
};

// 处理映射
const mappedData = formattedData.map(item => {
  const mappedItem: Record<string, any> = {};
  Object.keys(item).forEach(excelColumn => {
    const dbField = columnMapping[excelColumn];
    if (dbField) {
      // 类型转换示例：日期转Date，金额转数字
      if (dbField === 'transactionDate') {
        mappedItem[dbField] = new Date(item[excelColumn]);
      } else if (dbField.includes('Amount')) {
        mappedItem[dbField] = parseFloat(item[excelColumn] || 0);
      } else {
        mappedItem[dbField] = item[excelColumn];
      }
    }
  });
  return mappedItem;
});

4. 处理大型Excel文件的最佳实践是什么？ #

• 流式处理：使用支持流式的库（如exceljs），避免一次性加载整个文件到内存，防止内存溢出
• 分批次入库：将解析后的数据分成小批次（比如每1000条为一批）插入数据库，减少单次数据库操作的压力
• 异步处理：将文件解析和入库操作放在异步队列中（如使用BullMQ），避免阻塞HTTP请求，提升系统响应性
• 文件大小限制：在前端和后端都设置文件大小上限（比如10MB），拒绝过大的文件
• 进度反馈：前端显示上传和解析进度，提升用户体验

示例流式处理代码（exceljs）：

import * as ExcelJS from 'exceljs';

async function processLargeExcel(filePath: string) {
  const workbook = new ExcelJS.Workbook();
  // 流式读取文件
  await workbook.xlsx.readFile(filePath, {
    streaming: true
  });

  const worksheet = workbook.getWorksheet(1);
  let headers: string[] = [];
  const batchSize = 1000;
  let batch: any[] = [];

  worksheet.eachRow({ includeEmpty: false }, (row, rowNumber) => {
    if (rowNumber === 1) {
      // 提取表头
      headers = row.values.slice(1) as string[];
      return;
    }
    // 转换为对象
    const rowData = headers.reduce((obj, header, index) => {
      obj[header] = row.values[index + 1];
      return obj;
    }, {} as Record<string, any>);
    batch.push(rowData);

    // 批次入库
    if (batch.length >= batchSize) {
      // 调用数据库批量插入（示例用Prisma）
      await prisma.transaction.createMany({ data: batch });
      batch = [];
    }
  });

  // 处理剩余数据
  if (batch.length > 0) {
    await prisma.transaction.createMany({ data: batch });
  }
}

示例Excel文件格式 #

内容的提问来源于stack exchange，提问作者Adarsh KS