如何高效映射CSV/Excel转换数组与字段映射数组以实现批量上传

核心思路 #

针对100~100,000条的大规模数据，核心优化点是提前预处理映射规则，避免在每条数据转换时重复执行判断逻辑，同时结合分批次上传适配Lambda的运行限制。

1. 预处理映射规则 #

先将MAPPED_FIELDS转换为「原索引→目标字段名」的映射表，跳过空映射项，减少后续循环中的无效判断：

// 生成索引到目标字段的映射表
const buildFieldMap = (mappedFields) => {
  const fieldMap = new Map();
  mappedFields.forEach((targetField, index) => {
    if (targetField) {
      fieldMap.set(index, targetField);
    }
  });
  return fieldMap;
};

// 示例调用
const fieldMap = buildFieldMap(MAPPED_FIELDS);

2. 高效数据转换 #

使用原生for循环（性能优于Array.map/forEach）遍历数据行，基于映射表直接生成符合Schema的对象：

const convertData = (rawData, fieldMap) => {
  const results = [];
  // 跳过表头行，从第2行开始处理
  for (let i = 1; i < rawData.length; i++) {
    const row = rawData[i];
    const item = {};
    // 直接通过映射表赋值，无冗余判断
    fieldMap.forEach((targetField, sourceIndex) => {
      item[targetField] = row[sourceIndex];
    });
    results.push(item);
  }
  return results;
};

3. Lambda批量上传实现 #

考虑到Lambda的15分钟执行时间限制，将转换后的数据分批次上传，避免超时或服务限流：

exports.handler = async (event) => {
  const { rawData, mappedFields } = event;
  
  // 预处理映射表
  const fieldMap = buildFieldMap(mappedFields);
  // 转换数据
  const convertedItems = convertData(rawData, fieldMap);
  
  // 分批次配置（可根据上传接口限制调整，比如DynamoDB batchWrite最多25条）
  const batchSize = 1000;
  const batches = [];
  for (let i = 0; i < convertedItems.length; i += batchSize) {
    batches.push(convertedItems.slice(i, i + batchSize));
  }
  
  // 逐批次上传
  for (const batch of batches) {
    try {
      await uploadBatch(batch);
      console.log(`批量上传完成：${batch.length}条数据`);
    } catch (err) {
      console.error(`批量上传失败：`, err);
      // 可根据业务需求添加重试或错误上报逻辑
      throw err;
    }
  }
  
  return {
    statusCode: 200,
    body: JSON.stringify({
      total: convertedItems.length,
      message: "所有数据上传完成"
    })
  };
};

// 替换为实际的批量上传逻辑（示例）
async function uploadBatch(items) {
  // 示例：DynamoDB批量写入
  // const AWS = require('aws-sdk');
  // const docClient = new AWS.DynamoDB.DocumentClient();
  // const requests = items.map(item => ({ PutRequest: { Item: item } }));
  // await docClient.batchWrite({ RequestItems: { 'YourTable': requests } }).promise();
  
  return Promise.resolve();
}

关键性能优化点 #

• 预处理映射表：仅执行一次，避免每条数据转换时重复判断空映射
• 原生for循环：减少函数调用开销，提升大数据量下的转换效率
• 分批次上传：适配Lambda运行时长限制，同时规避第三方服务的限流规则
• 内存控制：10万条文本数据内存占用通常在50MB以内，符合Lambda最低128MB内存配置要求

内容的提问来源于stack exchange，提问作者elguapo