Spark GraphX中顶点含Null值问题排查与代码求助

我来帮你排查这个GraphX里的Null值问题，先梳理下你提供的代码和当前的输出情况：

你的代码及输出 #

scala> verticesRDD
res76: org.apache.spark.rdd.RDD[(Long, (String, Long))] = MapPartitionsRDD[78] at map at <console>:51

scala> EdgesRDD
res77: org.apache.spark.rdd.RDD[org.apache.spark.graphx.Edge[Boolean]] = MapPartitionsRDD[18] at map at <console>:41

val graph = Graph(verticesRDD, EdgesRDD).cache()

scala> graph
res75: org.apache.spark.graphx.Graph[(String, Long),Boolean] = org.apache.spark.graphx.impl...

可能的Null值来源及排查方案 #

GraphX中出现Null值通常和顶点数据不完整、边指向不存在的顶点有关，给你几个具体的排查和解决步骤：

• 检查顶点RDD中的Null属性
  先确认你的verticesRDD里是否本身就带有Null值，比如顶点的String名称或者Long数值字段为Null：

  // 统计带有Null属性的顶点数量
  verticesRDD.filter { case (id, (name, num)) => name == null || num == null }.count()
  

  如果结果大于0，说明原始顶点数据就有问题，需要回溯到数据生成环节，补全这些Null值（比如用默认值替换）。

• 检查边RDD指向的顶点是否存在
  GraphX构建Graph时，如果边的srcId或dstId在verticesRDD中不存在，会自动为这些缺失的顶点生成带有Null属性的条目，这是常见的Null值来源。你可以统计这类无效边的数量：

  // 获取所有边涉及的顶点ID
  val edgeVertexIds = EdgesRDD.map(e => (e.srcId, e.dstId)).flatMap { case (a,b) => Seq(a,b) }.distinct()
  // 获取所有存在的顶点ID
  val existingVertexIds = verticesRDD.keys.distinct()
  // 统计边中指向不存在的顶点ID数量
  edgeVertexIds.subtract(existingVertexIds).count()
  

  如果结果大于0，你有两种处理方式：

  1. 过滤掉这些无效边：

     val validEdgesRDD = EdgesRDD.filter(e => existingVertexIds.contains(e.srcId) && existingVertexIds.contains(e.dstId))
     val graph = Graph(verticesRDD, validEdgesRDD).cache()
     

  2. 为缺失的顶点设置默认属性，避免Null：

     // 使用fromEdges方法，自动补全缺失顶点的默认属性
     val graph = Graph.fromEdges(EdgesRDD, defaultAttr = ("Unknown", 0L)).cache()
     

• 直观查看Graph中的数据
  你可以直接采样查看Graph的顶点和边数据，确认Null值的具体位置：

  // 查看前10个顶点数据
  graph.vertices.take(10).foreach(println)
  // 查看前10个边数据
  graph.edges.take(10).foreach(println)
  

内容的提问来源于stack exchange，提问作者Subhasis