如何基于两个不同RDD创建符合指定计算规则的新RDD

嘿，我来帮你搞定这个RDD的计算需求！咱们先明确目标：把rdd1里每个元素的嵌套键的第一个值和rdd2的key匹配，然后用rdd1的数值除以rdd2对应的数值，得到最终的结果RDD。

具体实现步骤 #

我把整个过程拆成几个清晰的步骤，每一步都附代码和解释：

1. 转换rdd1的结构，提取关联键
   我们需要把rdd1中每个元素的嵌套键（比如('a','b')）的第一个元素作为关联的key，这样才能和rdd2的key做join操作。代码如下：

   # 把rdd1从 ((k1,k2), v1) 转换成 (k1, ((k1,k2), v1))
   rdd1_transformed = rdd1.map(lambda x: (x[0][0], (x[0], x[1])))
   

   这一步之后，rdd1_transformed的元素会是：[('a', (('a','b'), 10)), ('c', (('c','d'), 20))]

2. 与rdd2执行join操作
   现在两个RDD有了相同的关联key（'a'、'c'），可以执行join来把对应的数值配对：

   joined_rdd = rdd1_transformed.join(rdd2)
   

   join后的元素结构是：[('a', ((('a','b'), 10), 2)), ('c', ((('c','d'), 20), 4))]

3. 计算最终结果
   对join后的每个元素，用rdd1的数值除以rdd2的数值，还原原来的嵌套键作为新元素的key：

   result_rdd = joined_rdd.map(lambda x: (x[1][0][0], x[1][0][1] / x[1][1]))
   

   这里x[1][0][0]就是原来的嵌套键（比如('a','b')），x[1][0][1]是rdd1的数值，x[1][1]是rdd2的数值，相除后得到目标结果。

4. 验证结果
   执行collect()方法查看最终结果：

   print(result_rdd.collect())
   # 输出：[(('a','b'), 5.0), (('c','d'), 5.0)]
   

完整代码示例 #

把所有步骤整合起来，完整的代码如下：

from pyspark import SparkContext

sc = SparkContext("local", "RDDCalculation")

# 初始化两个RDD
rdd1 = sc.parallelize([(('a','b'),10),(('c','d'),20)])
rdd2 = sc.parallelize([('a',2),('b',3),('c',4)])

# 转换rdd1结构
rdd1_transformed = rdd1.map(lambda x: (x[0][0], (x[0], x[1])))
# 执行join
joined_rdd = rdd1_transformed.join(rdd2)
# 计算结果
result_rdd = joined_rdd.map(lambda x: (x[1][0][0], x[1][0][1] / x[1][1]))

# 打印结果
print(result_rdd.collect())

这样就能得到你想要的最终结果啦！如果还有其他Spark相关的问题，随时问我~

内容的提问来源于stack exchange，提问作者user2805885