Scala Spark中遍历RDD创建Graph的技术问题

嗨，这个问题其实很好解决——核心就是把你RDD里每个元素对应的List[(Long, Long)]展开成单个的Edge Tuple，用Spark的flatMap操作就能搞定！

具体步骤和代码示例 #

首先，GraphX的Graph.fromEdgeTuples要求输入是RDD[(VertexId, VertexId)]，而VertexId本质上就是Long的类型别名，所以你只需要把嵌套的List平铺开来就行：

import org.apache.spark.graphx._

// 假设你的bigjoin是已定义好的RDD[(String, List[(Long, Long)])]
val edgeTuplesRDD: RDD[(VertexId, VertexId)] = bigjoin.flatMap { case (_, edgeList) =>
  // 忽略key（因为我们不需要它来构建边），把List里的每个(Long, Long)转成VertexId元组
  edgeList.map { case (srcId, dstId) => (srcId: VertexId, dstId: VertexId) }
}

// 现在就可以用这个RDD创建Graph了，defaultValue是顶点的默认属性，你可以根据需求修改
val graph = Graph.fromEdgeTuples(edgeTuplesRDD, defaultValue = 0)

为什么这样可行？ #

• flatMap是Spark里用来“展开”嵌套结构的关键算子：它会遍历RDD的每个元素，对每个元素返回一个可迭代的集合（这里就是edgeList），然后把所有集合里的元素平铺成一个新的RDD，正好去掉了外层的(String, List[...])结构，得到我们需要的RDD[(VertexId, VertexId)]。
• 因为VertexId就是Long的别名，所以直接把Long类型的src和dst强制转成VertexId（或者不转也可以，Scala会自动隐式转换），完全符合方法的参数要求。

额外注意事项 #

• 如果你的edgeList里有空列表，flatMap会自动跳过这些空的情况，不会在结果RDD里产生无效元素。
• 如果你后续需要用到原来的String类型的key，可以考虑把它作为顶点的属性，这时候可能需要先处理顶点RDD再构建Graph，但根据你当前的需求，上面的代码已经足够解决问题了。

内容的提问来源于stack exchange，提问作者M.Vela