寻求动态合并多个数组的最佳实践方案

看起来你是想把不同id标识的时间序列数据，按时间维度合并成一张"宽表"形式的结构化数据？我之前处理过类似的物联网时序数据，分享几个实用的落地方案：

核心思路 #

先按id分组收集每个标签的「时间-数值」映射关系，然后提取所有唯一时间点，最后遍历每个时间点，把对应各标签的数值整合到同一个对象中，完成多序列的对齐合并。

具体实现方案（以JavaScript为例） #

步骤1：分组构建时间-值字典 #

先把所有对象按id分类，每个分类下用time作为键存储对应的values，同时收集所有出现过的时间点：

const rawData = [
  {time: 20180420100000, id: 'label01', values: 25.0},
  {time: 20180420101005, id: 'label01', values: 26.0},
  {time: 20180420101010, id: 'label01', values: 26.5},
  {time: 20180420100000, id: 'label02', values: 100},
  {time: 20180420100020, id: 'label02', values: 1.0},
  {time: 20180420100020, id: 'label03', values: 2.0}
];

// 分组存储每个标签的时间-值映射
const groupedData = {};
// 收集所有唯一时间点
const allTimePoints = new Set();

rawData.forEach(item => {
  if (!groupedData[item.id]) {
    groupedData[item.id] = {};
  }
  groupedData[item.id][item.time] = item.values;
  allTimePoints.add(item.time);
});

步骤2：生成合并后的统一结构 #

把时间点排序后，遍历每个时间点生成包含所有标签数值的对象（没有对应时间的数据用null填充，也可根据需求改为undefined或默认值）：

// 将时间点转为数组并按时间排序
const sortedTimes = Array.from(allTimePoints).sort((a, b) => a - b);

// 生成最终合并数据
const mergedResult = sortedTimes.map(time => {
  const row = { time };
  Object.keys(groupedData).forEach(labelId => {
    row[labelId] = groupedData[labelId][time] ?? null;
  });
  return row;
});

console.log(mergedResult);

输出的合并结果示例：

[
  { time: 20180420100000, label01: 25.0, label02: 100, label03: null },
  { time: 20180420100020, label01: null, label02: 1.0, label03: 2.0 },
  { time: 20180420101005, label01: 26.0, label02: null, label03: null },
  { time: 20180420101010, label01: 26.5, label02: null, label03: null }
]

优化与扩展建议 #

• 大数据量场景：如果处理百万级以上的数据，建议用Map替代普通对象存储分组数据，能获得更好的读写性能
• 时间对齐插值：如果需要将不同频率的时序数据统一到固定时间间隔（比如每分钟一个点），可以自己实现线性插值逻辑，或者使用d3-time这类工具库
• 后端Python场景：可以直接用pandas的pivot方法快速实现，代码更简洁：

import pandas as pd

df = pd.DataFrame(rawData)
merged_df = df.pivot(index='time', columns='id', values='values').reset_index()

注意事项 #

• 确保time字段是可排序的类型（数字、时间戳均可，字符串需保证格式统一如ISO8601）
• 处理重复数据：如果存在同一time+同一id的多条记录，需要先做去重或聚合（比如取平均值、最大值）

内容的提问来源于stack exchange，提问作者user3432269