如何在Ab Initio中快速统计130亿条MFS记录的分组去重IMSI数

针对你要按日期、城市、地区分组统计唯一IMSI数量的需求，现有两种方法速度慢的核心原因是内存开销过大或排序成本过高，以下是针对性的优化方案：

现有方法的问题分析 #

• 方法1：length_of(vector_sort_dedup_first(accumulation( in.imsi_4g ))) in rollup
  这种方式会把每个分组下的所有IMSI收集到内存向量中再去重，130亿数据规模下向量会占用巨量内存，频繁触发磁盘溢出，直接拖慢处理速度。
• 方法2：PBK {date; city; district; imsi_4g} , dedup sorted
  将高基数的IMSI加入PBK排序键后，全局排序和数据shuffle的量级远超必要，排序成本指数级上升，导致性能低下。

优化方案 #

1. 先局部去重，再全局聚合 #

先在数据分区内完成IMSI去重，大幅减少后续全局处理的数据量：

• 用Partition by Key组件按{date; city; district}分区，让相同分组的数据落在同一节点
• 在每个分区内用Hash Dedup组件，键设为{imsi_4g}，去掉当前分组内的重复IMSI（Hash Dedup无需排序，比Sorted Dedup效率高数倍）

2. 用Hash Aggregate替代Rollup向量聚合 #

放弃accumulation收集所有IMSI的方式，改用Hash Aggregate高效统计：

• 经过局部去重后，用Hash Aggregate组件，分组键设为{date; city; district}，聚合函数直接用count(*)，即可得到每个分组的唯一IMSI数量
• Hash Aggregate通过哈希表维护分组计数，内存利用率远高于向量收集，避免大量磁盘IO开销

3. 利用MFS原生分区特性 #

如果原始MFS文件已按date或date; city做了物理分区，读取时开启use_partitioning参数，让每个节点只处理对应分区的数据，彻底避免跨节点的数据shuffle，大幅降低网络传输成本。

4. 资源配置调优 #

• 给处理节点分配足够内存：调整abinitio_memory参数，确保Hash Dedup和Hash Aggregate能在内存中处理大部分数据，减少磁盘溢出
• 提升并行度：根据集群CPU、内存资源，合理设置max_parallelism，让更多节点同时并行处理数据

推荐处理流程 #

1. 读取MFS文件，启用原生分区（若存在）
2. Partition by Key：按{date; city; district}分区
3. Hash Dedup：键为{imsi_4g}，去掉分组内重复IMSI
4. Hash Aggregate：分组键{date; city; district}，聚合函数count(*)
5. 输出结果到目标存储

内容的提问来源于stack exchange，提问作者charmander