如何在MapReduce的Reduce任务中读取Map任务使用的同一输入文件？

没问题，这个需求在实际开发里挺常见的，我来给你梳理几个靠谱的实现思路：

1. 直接从分布式文件系统读取（最直接的方式） #

如果你的输入文件本身就存储在HDFS这类分布式文件系统上，Reduce任务完全可以直接通过HDFS的API读取这份文件。因为集群里所有节点都能访问HDFS，只要路径正确、权限没问题就行。

举个Java代码的例子：

Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
// 替换成你的输入文件在HDFS上的实际路径
Path inputFilePath = new Path("hdfs://your-cluster-name/path/to/your/input/file");
FSDataInputStream inputStream = fs.open(inputFilePath);

// 这里写读取文件内容的逻辑，比如按行读取或者字节流处理
BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
String line;
while ((line = reader.readLine()) != null) {
    // 处理每一行数据
}

⚠️ 注意：如果文件体积很大，Reduce任务全量读取可能会拖慢整个作业的性能，甚至引发内存问题，所以如果只是需要文件里的部分数据，优先考虑下面的方案。

2. 让Map任务把需要的数据传递给Reduce（最高效的方式） #

如果Reduce不需要整个文件，只是依赖文件里的特定数据，那完全可以在Map阶段就把这些数据提取出来，作为Map输出的一部分传递给Reduce。这样就避免了Reduce端额外的IO操作，效率会高很多。

比如，你可以把Map的输出设计成键值对，其中value包含原始业务数据+需要的文件片段：

// Map阶段的输出示例，假设用Tuple2来封装两个数据
context.write(key, new Tuple2<>(originalValue, extractedFileContent));

到了Reduce阶段，直接从value里取出需要的内容就行，不用再去读文件了。

3. 用分布式缓存缓存文件（适合小文件场景） #

如果这份输入文件比较小，而且所有Reduce任务都需要访问它，那可以用MapReduce的分布式缓存功能（旧版用DistributedCache，新版YARN用CacheFiles），把文件提前缓存到集群的所有节点上，Reduce任务直接读取本地缓存的文件，速度会快很多。

配置缓存的代码示例（新版YARN）：

Job job = Job.getInstance(conf);
// 添加要缓存的文件，路径是HDFS上的路径
job.addCacheFile(new Path("hdfs://your-cluster-name/path/to/your/input/file").toUri());

然后在Reduce任务里读取缓存的文件：

Path[] cacheFiles = context.getCacheFiles();
if (cacheFiles != null && cacheFiles.length > 0) {
    FileSystem fs = FileSystem.get(conf);
    FSDataInputStream inputStream = fs.open(cacheFiles[0]);
    // 读取缓存文件的逻辑
}

额外提醒 #

• 不管用哪种方式，都要确保输入文件的权限是集群所有节点都能访问的，不然Reduce任务会抛出权限不足的异常。
• 如果文件会频繁更新，用缓存的时候要注意任务提交时刷新缓存，避免读到旧数据。
• 大文件场景下，优先考虑第二种方案，尽量减少Reduce端的IO开销。

内容的提问来源于stack exchange，提问作者Yaseen Saleem