PySpark调用countByValue后排序取Top10报错解决方法

countByValue()是PySpark RDD的行动（Action）算子，执行后会把所有统计结果拉取到Driver节点，返回值是Python原生的collections.defaultdict结构，不是分布式RDD对象，自然不具备RDD专属的sortByKey()方法，直接调用就会抛出你看到的属性错误。
额外说明：就算返回的是(jobType, frequency)格式的键值对RDD，sortByKey()也是按照键（也就是职位类型字符串）排序，不是按照频率值排序，本身也不符合你取频率最高Top10的需求。

根据数据量规模可以二选一：

• 小数据量场景：直接处理countByValue返回的本地字典
  用Python内置的sorted函数对字典项排序即可，不需要额外走RDD流程，代码如下：

  freq_per_job = previous_val.map(lambda x:x[3]).countByValue()
  # 按频率倒序，取前10
  top10_jobs = sorted(freq_per_job.items(), key=lambda item: item[1], reverse=True)[:10]
  

• 大数据量场景：全流程用RDD分布式算子实现
  如果职位类型基数很大，countByValue把全量统计结果拉到Driver容易造成内存压力，建议替换为RDD转换算子全程分布式执行，最后只拉取Top10结果到本地：

  top10_jobs = previous_val.map(lambda x: (x[3], 1)) \
      .reduceByKey(lambda acc, curr: acc + curr) \
      .sortBy(lambda item: item[1], ascending=False) \
      .take(10)
  

  逻辑说明：先把提取到的职位类型映射为(职位, 1)的键值对，用reduceByKey累加得到每个职位的总出现次数，再通过sortBy指定按频率值倒序排列，最后用take(10)把排序后的前10条结果返回Driver即可。

• 调用PySpark方法后不确定返回值类型时，可以加一行print(type(你的变量名))打印类型确认，避免把本地Python对象和分布式RDD/DataFrame的方法混用。
• sortByKey()仅适合按键排序的场景，需要按值排序时直接用sortBy()指定排序字段即可。

内容的提问来源于stack exchange，提问作者ViB