如何将RDD行中指定字段的值转换为单列数组？

你现在手动循环遍历RDD行提取City字段的方式不仅效率低，还没法直接整合成目标格式的数组。其实Spark原生API就有简洁的解决方案，完全不用折腾transpose或zip这类不适用的方法，下面分两种常用场景给你具体实现：

场景1：用RDD API处理 #

如果你的traceFilters是RDD[Row]类型，可以直接通过map操作批量提取每行的City字段，再用collect()把分布式数据拉取到Driver端生成数组：

// Scala 示例
val cityRDD = traceFilters.map(row => row.getAs[String]("City"))
val cityArray = cityRDD.collect()
// 输出目标格式
println(cityArray.mkString("[", ", ", "]"))

# Python 示例
city_rdd = traceFilters.map(lambda row: row["City"])
city_array = city_rdd.collect()
# 输出目标格式
print(f"[{', '.join(city_array)}]")

⚠️ 注意：collect()会把所有数据拉到Driver节点，数据量过大时容易内存溢出，若只是需要在分布式环境中处理单列数据，直接使用cityRDD即可，无需collect。

场景2：用DataFrame API处理（更推荐） #

既然你用sqlContext读取CSV，traceFilters大概率是DataFrame类型，这种情况用内置聚合函数collect_list可以一步到位把所有City值聚合成单列数组：

// Scala 示例
import org.apache.spark.sql.functions._

val cityDF = traceFilters.select(collect_list("City").alias("cities"))
val cityArray = cityDF.first().getAs[Seq[String]]("cities")
println(cityArray.mkString("[", ", ", "]"))

# Python 示例
from pyspark.sql.functions import collect_list

city_df = traceFilters.select(collect_list("City").alias("cities"))
city_array = city_df.first()["cities"]
print(f"[{', '.join(city_array)}]")

为什么你之前的方法无效？ #

• transpose是用来转置二维结构的（比如多行多列转多列多行），和提取单列的需求完全不匹配
• zip是用来将两个RDD按位置配对，也不符合你提取单个字段的场景

用Spark原生API替代手动循环，既能保证效率，又能直接得到你想要的数组格式。

内容的提问来源于stack exchange，提问作者user5813190