PySpark中将RDD的列表列拆分为多行的实现方法

嗨，我来帮你搞定这个需求！要把Row(id, Words)结构的RDD里Words字段的单词列表拆成单独的行，用RDD的flatMap操作就能轻松实现——这可是处理这类“展开列表”场景的标准操作哦。

方法1：使用RDD的flatMap操作 #

flatMap的核心作用就是把每个输入元素映射成多个输出元素，刚好匹配我们把列表拆成单行的需求。下面分Python和Scala两种常用语言给出具体示例：

Python 版本

假设你的原始RDD名为words_rdd，每个元素是包含id和单词列表的Row对象：

from pyspark.sql import Row

# 示例原始RDD（替换成你自己的RDD即可）
sample_data = [Row(id=1, Words=["hello", "world"]), Row(id=2, Words=["spark", "rdd", "flatmap"])]
words_rdd = sc.parallelize(sample_data)

# 拆分单词列表为单独行（保留id与单词的对应关系）
exploded_rdd = words_rdd.flatMap(lambda row: [(row.id, word) for word in row.Words])

# 如果只需要纯单词列（不需要关联id），可以简化成这样：
# exploded_rdd = words_rdd.flatMap(lambda row: row.Words)

# 查看结果
exploded_rdd.collect()
# 输出：[(1, 'hello'), (1, 'world'), (2, 'spark'), (2, 'rdd'), (2, 'flatmap')]

Scala 版本

同样假设原始RDD名为wordsRDD：

import org.apache.spark.sql.Row

// 示例原始RDD
val sampleData = Seq(Row(1, Seq("hello", "world")), Row(2, Seq("spark", "rdd", "flatmap")))
val wordsRDD = sc.parallelize(sampleData)

// 拆分单词列表为单独行（保留id与单词的对应关系）
val explodedRDD = wordsRDD.flatMap { row =>
  val id = row.getAs[Int]("id")
  val words = row.getAs[Seq[String]]("Words")
  words.map(word => (id, word))
}

// 如果只需要纯单词列，简化为：
// val explodedRDD = wordsRDD.flatMap(row => row.getAs[Seq[String]]("Words"))

// 查看结果
explodedRDD.collect()
// 输出：Array((1,hello), (1,world), (2,spark), (2,rdd), (2,flatmap))

补充：如果后续需要转DataFrame处理 #

要是你之后想把结果转为DataFrame做更复杂的操作，也可以先把RDD转成DataFrame，再用explode函数实现列表展开：

Python 版本

from pyspark.sql.functions import explode

# 先将RDD转为DataFrame
df = words_rdd.toDF()
# 使用explode展开Words列表，并给新列命名
exploded_df = df.select(df.id, explode(df.Words).alias("word"))
# 再转回RDD的话：
exploded_rdd_from_df = exploded_df.rdd

这样处理后，你就能得到每个单词单独一行的RDD啦，完全满足你的需求！

内容的提问来源于stack exchange，提问作者vish