如何验证GraphX中PartitionStrategy分区策略是否正常生效

代码修正 #

首先你原有代码存在逻辑问题：GraphX中的Graph是不可变对象，partitionBy算子不会修改原Graph实例，会返回一个完成分区后的新Graph对象，因此首先需要调整代码接收返回值：

JavaRDD<Edge<Double>> edgeRDD = javaSparkContext.parallelize(edges);
JavaRDD<Tuple2<Object, String>> nodeRDD = javaSparkContext.parallelize(nodes);
Graph<String, Double> graph = Graph.apply(nodeRDD.rdd(), edgeRDD.rdd(), "", StorageLevel.MEMORY_ONLY(),
                StorageLevel.MEMORY_ONLY(), stringTag, doubleTag);
// 接收partitionBy返回的新图实例
Graph<String, Double> partitionedGraph = graph.partitionBy(PartitionStrategy.EdgePartition2D$.MODULE$, 3);

注意：GraphX的所有转换算子都是懒加载的，只有调用count、collect等行动算子后，分区逻辑才会真正执行

验证分区生效的方法 #

方法1：直接查看分区数和分区策略 #

可以直接读取分区后图的EdgeRDD的分区属性验证：

// 验证分区数是否为指定的3
System.out.println("边RDD分区数：" + partitionedGraph.edges().getNumPartitions());
// 验证分区策略是否为EdgePartition2D
if (partitionedGraph.edges().partitioner().isDefined()) {
    System.out.println("生效的分区策略：" + partitionedGraph.edges().partitioner().get().getClass().getSimpleName());
}

正常输出结果为：

边RDD分区数：3
生效的分区策略：EdgePartition2D

方法2：打印每个分区的边明细（即你需要的打印子图效果） #

可以通过mapPartitionsWithIndex遍历每个分区的内容，直观查看3个分区的边分布：

partitionedGraph.edges().toJavaRDD()
    .mapPartitionsWithIndex((partitionIndex, edgeIterator) -> {
        List<String> partitionContent = new ArrayList<>();
        while (edgeIterator.hasNext()) {
            Edge<Double> edge = edgeIterator.next();
            partitionContent.add(String.format("分区[%d] 边：%d → %d，权重：%.2f", 
                partitionIndex, edge.srcId(), edge.dstId(), edge.attr()));
        }
        return partitionContent.iterator();
    }, false)
    .collect()
    .forEach(System.out::println);

运行后你会看到编号为0、1、2的3个分区各自包含的边列表，也可以对照EdgePartition2D的规则（将边按照源点和目的点的哈希映射到二维网格的分区中，同源/同目的的边大概率会被分配到同一分区）验证分区逻辑是否符合预期。

方法3：通过本地Spark UI验证 #

你在单机运行时，触发行动算子后可以访问默认端口为4040的Spark UI，在Stage详情页可以看到对应EdgeRDD的分区数为3，且会存在对应shuffle阶段（分区操作会触发边数据的shuffle重分配）。

内容的提问来源于stack exchange，提问作者Aavash Bhandari