如何找出500台分布式服务器中未部署的content ID，MapReduce方案如何实现？

核心逻辑很简单：我们需要计算两个集合的差集——主数据库存储的全量content ID集合，与500台存储服务器上实际存在的content ID并集的差集，就是未部署的ID。

轻量实现方案（content ID总量千万级以下优先用） #

不需要复杂的分布式计算框架，几行脚本就能完成：

• 第一步：从主数据库导出全量content ID列表，每条ID标记标识位0，存储为有序文本文件，导出可以直接执行SQL：SELECT content_id FROM metadata_table
• 第二步：在所有500台存储节点上并行执行本地扫描，导出当前节点存储的所有content ID列表，每条ID标记标识位1，把所有节点的导出结果汇总到同一台调度机器
• 第三步：把全量ID文件和所有存储节点的ID文件合并，按content ID排序聚合，只要某条ID对应的标识位从未出现1，就是未部署的ID

小优化：如果content ID是数值类型，可以提前按ID范围拆分任务，把对应范围的全量ID下发给存储节点，每个节点本地计算该范围内的差集，最后汇总结果即可，不需要集中处理全量数据，内存压力更小。

MapReduce风格实现流程（content ID总量过亿时适用） #

整个流程分为三个阶段，完全并行执行，适合大规模数据场景：

Map阶段 #

输入拆分为两类并行任务，所有任务互不依赖：

• 全量ID读取任务：把主库导出的全量content ID拆分为多个分片，每个Map任务读取一个分片，输出键值对为(content_id, 'master')
• 存储节点ID读取任务：每个存储节点的本地content ID列表作为一个独立分片，直接在节点本地启动Map任务读取，输出键值对为(content_id, 'storage')

Shuffle阶段 #

计算框架自动按content ID对所有Map输出的键值对做分区、排序，同一个content ID对应的所有值会被路由到同一个Reduce任务处理。

Reduce阶段 #

每个Reduce任务按如下规则处理同一个content ID对应的所有值：

• 如果值列表中仅包含master，说明该ID只在主库存在，没有任何存储节点上报，直接输出该content ID，就是未部署的ID
• 如果值列表中同时包含master和storage，说明该ID已经部署，直接跳过即可

注意事项 #

• 扫描存储节点的任务尽量放在业务低峰期执行，避免占用节点IO带宽影响线上服务
• 存储节点导出ID列表时可以先做本地去重，减少后续数据处理的总量

内容的提问来源于stack exchange，提问作者lala8818