如何在NetSuite重调度的MapReduce脚本中跳过重复行？

一、跨重调度的重复行去重方案 #

• 自定义记录存已处理标识：创建一个自定义记录（比如customrecord_processed_data_keys），字段包含业务数据的组合唯一键（如交易ID+行号）。每次Map阶段处理数据前，先查询该自定义记录，若不存在则处理数据，处理完成后将唯一键写入自定义记录。重调度时每个批次都会校验这个记录，彻底避免重复。记得给唯一键字段加索引，提升查询效率。
• 文件柜临时文件存键集合：如果自定义记录性能跟不上，可在文件柜创建一个临时JSON文件，存储已处理的唯一键数组。每次Map阶段启动时读取该文件，把键加载到内存Set中，处理数据时判断是否存在，处理完更新文件。NetSuite重调度是串行执行，不用担心并发写入冲突。
• 数据源层面提前去重：如果数据集来自Saved Search，直接在搜索中添加去重逻辑（比如用GROUP BY或过滤重复字段）；如果用SuiteAnalytics Connect，直接写SQL去重后再拉取数据，从根源减少重复行进入脚本。

二、Reduce阶段使用量超限（超500MB CSV）解决方案 #

• Map阶段生成CSV分片：放弃在Reduce阶段生成大文件，改为每个Map批次处理完成后，直接生成一个小CSV文件存到文件柜。Reduce阶段只负责收集所有分片文件，将它们作为多个附件添加到邮件中发送（NetSuite支持多附件邮件）。这样Reduce阶段无需处理大内存数据，彻底规避超限问题。
• 启用流式文件写入：如果使用SuiteScript 2.1，利用N/file的appendLine()或流式写入API，每处理一行数据就写入文件，避免把整个CSV内容加载到内存中，大幅降低内存占用。
• 调小重调度批次：减少每次重调度处理的数据量（比如从1000条改为500条），让每个Map阶段生成的CSV分片更小，降低单批次内存压力。
• 简化Reduce逻辑：Reduce阶段只做文件汇总和邮件发送准备，不要在Reduce里做数据拼接或转换，所有数据处理逻辑下移到Map阶段，让Reduce只做轻量操作。

代码示例（自定义记录去重的Map阶段） #

define(['N/record', 'N/file', 'N/search'], function(record, file, search) {
    function map(context) {
        var rowData = JSON.parse(context.value);
        // 生成唯一标识，根据业务场景调整
        var uniqueKey = `${rowData.transaction_id}-${rowData.line_num}`;

        // 检查是否已处理过
        var dupCheck = search.create({
            type: 'customrecord_processed_keys',
            filters: [['custrecord_unique_key', 'is', uniqueKey]],
            columns: ['internalid']
        });
        var exists = dupCheck.run().getRange({start: 0, end: 1}).length > 0;

        if (!exists) {
            // 写入CSV分片（示例：追加到文件）
            var csvFile = file.load({id: '1234'}); // 提前创建的空CSV文件ID
            csvFile.appendLine({value: `${rowData.field1},${rowData.field2},${rowData.field3}`});
            csvFile.save();

            // 标记已处理
            var processedRec = record.create({type: 'customrecord_processed_keys'});
            processedRec.setValue({fieldId: 'custrecord_unique_key', value: uniqueKey});
            processedRec.save();
        }
    }

    return {
        map: map,
        // 其他阶段逻辑...
    };
});

内容的提问来源于stack exchange，提问作者Maira S