MapReduce开发：如何让Mapper输出输入文件的x%作为Reducer输入？

我来帮你搞定这个MapReduce的抽样需求！你要的是让Mapper只输出输入文件的x%内容给Reducer，和Top N的场景确实不一样——Top N是取排序后的前几条，而你需要的是按比例抽取记录对吧？下面给你两种方案，分别对应不同的需求场景：

这是最常用的方案，通过随机数判断来过滤记录，实现近似的比例抽样，优点是无需额外的前置Job，直接在Mapper中完成过滤。

实现步骤： #

• 在Mapper的初始化阶段，读取配置的抽样比例（比如50代表50%），并初始化随机数生成器
• 对每条输入记录，生成一个0-99的随机数，若随机数小于等于设定的抽样比例，就将这条记录发射给Reducer；否则直接跳过

代码示例（Java版）： #

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
import java.util.Random;

public class SamplingMapper extends Mapper<Object, Text, Text, Text> {
    private Random randomGenerator;
    private int samplingThreshold;

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        super.setup(context);
        // 从Job配置中读取抽样比例，可在提交Job时动态设置
        samplingThreshold = context.getConfiguration().getInt("sampling.percent", 50);
        // 初始化随机数生成器，若需要固定抽样结果（比如调试），可以设置固定种子
        randomGenerator = new Random();
        // randomGenerator = new Random(12345); // 固定种子，保证每次抽样结果一致
    }

    @Override
    protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        // 生成0到99之间的随机整数
        int randomNum = randomGenerator.nextInt(100);
        // 符合比例要求则发射记录
        if (randomNum <= samplingThreshold) {
            // 这里可以根据你的业务需求调整输出的Key-Value结构
            context.write(value, new Text(""));
        }
        // 不符合则跳过，不发送给Reducer
    }
}

说明： #

• 这个方案是近似抽样，因为随机数的特性，实际输出的记录数会在x%左右浮动，数据量越大，误差越小
• 提交Job时，可以通过conf.setInt("sampling.percent", 50)来动态设置抽样比例，不用修改代码

如果你的业务要求必须精确输出x%的记录（比如100条必须正好输出50条），就需要分两步完成：

实现思路： #

1. 第一步：统计总记录数
   • 运行一个前置MapReduce Job，Mapper每条记录输出1，Reducer汇总得到输入文件的总记录数
2. 第二步：按精确比例抽样
   • 根据总记录数计算需要抽样的数量：targetCount = 总记录数 * x%
   • 在第二个Job的Mapper中，统计当前分片的记录数，计算该分片需要贡献的抽样数量（比如总记录1000，分片有200条，抽样50%的话，这个分片需要输出100条）
   • 对分片内的记录进行随机或顺序抽取，发射对应数量的记录到Reducer

说明： #

• 这种方案的优点是能严格保证输出记录的比例，但需要多运行一个统计Job，增加了整体的开销，适合对抽样精度要求极高的场景

内容的提问来源于stack exchange，提问作者fanbondi