PySpark中reduceByKey()的键值识别规则及多列场景用法咨询

1. reduceByKey() 如何判断键和值？ #

reduceByKey() 是RDD专属操作，它要求RDD的元素必须是**二元组（key, value）**的结构——它不会识别列名或索引，直接把二元组的第一个元素当作key，第二个当作value。如果你的RDD元素不是二元组（比如单个值、三元组），调用reduceByKey()会直接报错。

举个例子：

# 正确：RDD元素是二元组
rdd = sc.parallelize([("apple", 1), ("banana", 2), ("apple", 3)])
rdd.reduceByKey(lambda x, y: x + y).collect()
# 输出：[('apple', 4), ('banana', 2)]

2. 是不是默认把第一列当键、第二列当值？ #

准确来说，不是“列”，而是二元组的第一个元素当key，第二个当value。如果是从DataFrame转成的RDD（比如df.rdd），默认的RDD元素是Row对象，这时候直接调用reduceByKey()会报错，因为Row不是二元组。必须先把Row转成二元组结构，才可以用reduceByKey()。

3. 多列DataFrame除了select，还有其他方式用reduceByKey()吗？ #

有几种替代方式，不过要注意：reduceByKey()是RDD API，DataFrame本身没有这个方法，所以都需要先转成RDD再处理：

• 用map手动构造二元组：直接从Row中提取需要的键和值列，转成二元组：

  # 假设df有col1, col2, col3三列
  df.rdd.map(lambda row: (row.col1, row.col2)).reduceByKey(lambda x, y: x + y)
  

• 用keyBy指定键，再提取值：先通过keyBy把某列设为key，再用mapValues提取需要的value列：

  df.rdd.keyBy(lambda row: row.col1).mapValues(lambda row: row.col2).reduceByKey(lambda x, y: x + y)
  

• 用DataFrame高阶API替代（更推荐）：如果用DataFrame，官方更推荐用groupBy() + agg()的组合，效果和reduceByKey()类似，而且不用转RDD：

  from pyspark.sql.functions import sum
  df.groupBy("col1").agg(sum("col2").alias("total"))
  

内容的提问来源于stack exchange，提问作者Underoos