Spark RDD内连接性能疑问：采样Action为何提升执行速度？

安全阿岳

2026-8-5

疑问：Spark作业中前置采样Action操作为何提升内连接性能？

我有两个Spark作业，均从Hadoop集群读取两个数据集并加载为RDD后执行内连接操作。两者的差异在于，其中一个作业在内连接前会对两个数据集执行采样操作（用于构建数据直方图），采样方式为rdd.sample(false, 0.01, 261).collect()（未使用takeSample()方法）。该包含采样流程的作业执行速度比仅执行内连接的作业快约25%！

代码示例：

JavaRDD<String> rddTxtFilesA = jsc.textFile("hdfs://node1:9000/user/datasetA.csv");
JavaRDD<String> rddTxtFilesB = jsc.textFile("hdfs://node1:9000/user/datasetB.csv");

JavaRDD<Tuple3<String, Double, Double>> rddTuplesA = rddTxtFilesA.map((String line) -> {
      String[] elements = line.split("\t");
      return new Tuple3<>(elements[0], Double.parseDouble(elements[1]), Double.parseDouble(elements[2]));
});

JavaRDD<Tuple3<String, Double, Double>> rddTuplesB = rddTxtFilesB.map((String line) -> {
      String[] elements = line.split("\t");
      return new Tuple3<>(elements[0], Double.parseDouble(elements[1]), Double.parseDouble(elements[2]));
});

//两个作业的差异部分：采样操作
rddTuplesA.sample(false, 0.01, 261).collect().forEach((tuple) ->
          //构建直方图
);

rddTuplesB.sample(false, 0.01, 261).collect().forEach((tuple) ->
          //构建直方图
);
//采样操作结束

JavaPairRDD<Integer, Tuple3<String, Double, Double>> pairRDDA = rddTuplesA.flatMapToPair(...);
JavaPairRDD<Integer, Tuple3<String, Double, Double>> pairRDDB = rddTuplesB.flatMapToPair(...);

CustomPartitioner cp = ...

JavaPairRDD<Integer, Tuple2<Tuple3<String, Double, Double>, Tuple3<String, Double, Double>>> joinedRDD = pairRDDA.join(pairRDDB,cp);

long count = joinedRDD.count();

我发现collect()操作似乎会影响作业使其运行更快，将collect()替换为count()后仍出现此现象，因此推测是Action操作影响了作业执行时间。我使用的是Spark 3.1.3版本，想请教这一现象的原因。

原因分析

这种现象主要源于前置的Action操作（collect()/count()）触发了一系列对后续作业有益的预操作，具体包括以下几点：

数据预读取与缓存预热
Spark的RDD是惰性求值的，仅执行内连接的作业会在count()触发时才开始读取HDFS数据、执行map转换。而带采样的作业中，sample().collect()会提前触发数据读取和map阶段的计算，且Spark内部机制可能将部分数据缓存到内存或磁盘（即使未显式调用cache()）。后续内连接操作可直接复用已读取/转换好的数据，避免重复从HDFS读取和解析，节省IO与计算时间。
分区与节点预热
采样的Action操作会让Spark集群的Executor节点提前启动任务，完成JVM预热、与HDFS DataNode建立连接、加载必要类和依赖等初始化操作。后续内连接任务执行时，节点已处于就绪状态，无需再经历初始化阶段的开销，减少了任务启动延迟。
统计信息辅助优化
虽然RDD API不像DataFrame/Dataset那样自动收集统计信息，但采样过程中生成的直方图（即使未显式传给Spark），结合Spark内部执行优化器，可能间接帮助优化连接策略。比如提前了解数据的键分布情况，在使用自定义分区器时更合理地分配分区数据，减少Shuffle阶段的数据倾斜或网络传输量，提升连接效率。
JIT编译预热
采样阶段的map、sample等操作会触发JVM的即时编译（JIT），将热点代码编译成本地机器码。后续内连接操作执行相同的map、flatMapToPair等转换时，直接使用已编译好的代码，避免了重复编译的开销，提升计算速度。

内容的提问来源于stack exchange，提问作者Nicholas Kou

Spark RDD内连接性能疑问：采样Action为何提升执行速度？

原因分析 #

原因分析