如何从大量数组提取相同数据并存入另一数组？及大XML文件技术问询

嘿，这两个问题我都有实际处理经验，给你分享下具体的解决方法：

核心其实就是找所有数组的交集，不同编程语言的实现思路类似，下面给你举几个常用的例子：

JavaScript实现 #

如果数组规模不大，可以直接用filter+every组合：

// 示例数组集合
const arrays = [
  [1, 2, 3, 4],
  [2, 3, 5, 6],
  [2, 3, 7]
];

// 以第一个数组为基准，筛选出在所有数组中都存在的元素
const commonElements = arrays[0].filter(item => arrays.every(arr => arr.includes(item)));

console.log(commonElements); // 输出：[2, 3]

如果数组元素很多，为了提升性能，建议把其他数组转成Set（查找时间复杂度更低）：

const arrays = [
  [1, 2, 3, 4],
  [2, 3, 5, 6],
  [2, 3, 7]
];

// 将后续数组转换为Set集合
const elementSets = arrays.slice(1).map(arr => new Set(arr));

// 筛选基准数组中存在于所有Set的元素
const commonElements = arrays[0].filter(item => elementSets.every(set => set.has(item)));

Python实现 #

Python用集合的交集操作会更简洁：

arrays = [
    [1, 2, 3, 4],
    [2, 3, 5, 6],
    [2, 3, 7]
]

# 转换为集合后求所有数组的交集，再转回列表
common_elements = list(set(arrays[0]).intersection(*arrays[1:]))

print(common_elements) # 输出：[2, 3]

要是需要保留元素的重复次数（比如所有数组中都出现2次的元素），可以用Counter统计次数：

from collections import Counter

arrays = [
    [1, 2, 2, 3],
    [2, 2, 3, 4],
    [2, 3, 3, 5]
]

# 统计每个数组的元素出现次数
counters = [Counter(arr) for arr in arrays]

common_elements = []
for item in counters[0]:
    # 检查元素是否存在于所有数组中
    if all(item in cnt for cnt in counters):
        # 取所有数组中该元素的最小出现次数
        min_count = min(cnt[item] for cnt in counters)
        common_elements.extend([item] * min_count)

print(common_elements) # 输出：[2, 3]

从你给出的XML片段来看，应该是要解析这类大文件对吧？直接把整个文件加载到内存很容易导致内存溢出，所以流式解析是最优方案，下面给你两个常用语言的实现：

Python流式解析 #

用xml.etree.ElementTree的iterparse方法，逐节点处理：

import xml.etree.ElementTree as ET

# 流式读取XML文件，只处理需要的节点
for event, elem in ET.iterparse('large_feedback.xml', events=('end',)):
    if elem.tag == 'SUMMARY':
        # 提取需要的字段
        merchant_id = elem.find('MERCHANTIDENTIFIER').text
        total_service = elem.find('TOTALSERVICECOUNT').text
        total_product = elem.find('TOTALPRODUCTCOUNT').text
        
        # 这里可以把数据存入数据库/写入文件，示例直接打印
        print(f"商户ID: {merchant_id}, 总服务数: {total_service}, 总商品数: {total_product}")
        
        # 处理完节点后清空，释放内存
        elem.clear()

Node.js流式解析 #

可以用sax-js库来实现流式处理（需要先安装：npm install sax）：

const sax = require('sax');
const fs = require('fs');

const parser = sax.createStream(true, { lowercase: true });
let currentTag = '';
let summaryData = {};

parser.on('opentag', (node) => {
    currentTag = node.name;
});

parser.on('text', (text) => {
    // 收集需要的字段内容
    const targetTags = ['merchantidentifier', 'totalservicecount', 'totalproductcount'];
    if (targetTags.includes(currentTag)) {
        summaryData[currentTag] = text.trim();
    }
});

parser.on('closetag', (tag) => {
    if (tag === 'summary') {
        // 处理收集到的SUMMARY数据
        console.log(summaryData);
        // 重置数据，准备处理下一个SUMMARY节点
        summaryData = {};
    }
});

// 读取文件并流式解析
fs.createReadStream('large_feedback.xml').pipe(parser);

补充：如果你的需求是修改大XML文件，同样建议用流式工具，避免加载整个文档。不同语言都有对应的流式XML处理库，核心思路都是逐节点处理，不缓存整个文件。

内容的提问来源于stack exchange，提问作者alpcoder