如何扁平化指定结构的Spark RDD并按字段排序？

嘿，这个需求很常见，我来一步步教你怎么实现Spark RDD的扁平化和排序！

我们用PySpark来完成这个任务，分为扁平化RDD和按需排序两个核心步骤，最后还可以把结果转成你想要的字符串格式。

1. 扁平化RDD #

首先要把每个键对应的数值列表展开，生成(键, 单个数值)的结构。这里用flatMap算子就可以轻松做到：

# 先定义原始RDD
rdd = sc.parallelize([(2, [199.99, 250.0, 129.99]), (4, [49.98, 299.95, 150.0, 199.92]), (8, [179.97, 299.95, 199.92, 50.0]), (10, [199.99, 99.96, 129.99, 21.99, 199.99]), (12, [299.98, 100.0, 149.94, 499.95, 250.0])])

# 扁平化操作：把每个键和列表里的每个数值配对，再展开
flattened_rdd = rdd.flatMap(lambda item: [(item[0], num) for num in item[1]])

简单解释：lambda item接收每个(键, 列表)元组，用列表推导式生成该键对应的所有(键, 数值)对，flatMap会把这些小列表全部展开成独立的RDD元素。

2. 按第一个字段（键）排序 #

如果要按键（第一个字段）排序，用sortBy算子指定排序依据为元素的第一个位置即可：

# 升序排序（默认就是升序）
sorted_by_key_asc = flattened_rdd.sortBy(lambda x: x[0])

# 降序排序，加上ascending=False参数
sorted_by_key_desc = flattened_rdd.sortBy(lambda x: x[0], ascending=False)

3. 按第二个字段（数值）排序 #

要按数值（第二个字段）排序，只需要把sortBy的依据改成元素的第二个位置：

# 数值升序排序
sorted_by_value_asc = flattened_rdd.sortBy(lambda x: x[1])

# 数值降序排序
sorted_by_value_desc = flattened_rdd.sortBy(lambda x: x[1], ascending=False)

4. 转成你想要的字符串格式 #

如果需要输出成2,199.99 2,250.0 ...这样的格式，可以用map把每个元组转成字符串，再用join拼接：

# 以按键升序为例，生成目标字符串格式
result_str = ' '.join(sorted_by_key_asc.map(lambda x: f"{x[0]},{x[1]}").collect())
print(result_str)

运行后就能得到你想要的空格分隔的字符串结果啦。

内容的提问来源于stack exchange，提问作者juamd