超大规模分组ID合并：分布式环境下内存友好型解决方案咨询

这属于大规模图的连通分量查找（Connected Components Detection for Large-Scale Graphs），也可归类为**实体合并/实体消重（Entity Merging & Entity Resolution）**的子问题——核心是通过group_id关联跨文件的全局唯一unique_id，最终将所有关联的实体合并为全局统一的big_group。

针对树莓派内存有限、集群规模小的特点，采用分阶段分布式处理+外部存储依赖的方式，避免内存溢出：

1. 预处理：分片计算本地连通分量 #

• 将单文件1亿条记录拆分为小分片（比如每片100万条，根据单台树莓派内存调整），存储到网络驱动器。
• 每台树莓派领取若干分片，用路径压缩+按秩合并优化的并查集处理每个分片：把同一group_id下的所有unique_id合并为本地临时分组，输出<unique_id, 本地临时组ID>的结果，写回网络驱动器。这一步完全本地化，无需跨节点通信，处理完即释放分片内存。

2. 全局连通分量合并：哈希分区+分布式并查集 #

• 哈希分区：将所有预处理结果按hash(unique_id) % 集群节点数分配到对应树莓派节点。由于unique_id全局唯一，每个unique_id只会被分配到一个节点。
• 节点内合并：每个节点处理分配给自己的所有记录：
  1. 合并同一unique_id对应的所有本地临时组ID（同一个unique_id可能出现在多个分片结果中）；
  2. 通过并查集将关联的临时组全部合并，得到节点内的初始全局big_group标记。
• 全局映射同步：解决跨节点的分组关联问题：
  1. 每个节点导出<本地big_group标记, 组内代表unique_id>的映射（每个组选一个唯一的unique_id作为代表）；
  2. 收集所有映射到一个节点（或分布式哈希表），检查是否存在代表unique_id跨节点关联的情况，合并对应的big_group标记，生成<旧组标记, 全局统一big_group ID>的映射表；
  3. 将映射表分发到所有节点，更新各自负责的unique_id的big_group ID。

3. 结果输出与验证 #

• 每个节点将最终的<unique_id, big_group ID>结果写入网络驱动器，可按需合并为全局文件或保留分区状态。
• 抽样验证：随机选取多组关联的unique_id，跨文件检查是否归为同一big_group。

树莓派集群专属优化 #

• 用轻量任务调度工具Celery（Python实现，适配树莓派资源）自动分配分片任务，无需手动管理节点负载。
• 网络驱动器优先用高速NAS，批量读写数据，减少树莓派有限带宽的IO瓶颈。
• 并查集采用内存高效结构：若unique_id是整数直接用数组存储父节点；若为字符串，先映射为整数ID再处理，压缩内存占用。
• 处理分片时采用边读边处理的流式方式，不加载全量分片数据到内存。

内容的提问来源于stack exchange，提问作者Mariusz Olszowski