使用Spark RDD的reduceByKey时遇ValueError：RDD为空，求原因

问题重现 #

目标RDD数据：

[{'date': '27/07/2022', 'user': 'User_83031', 'number_of_emails': 96},
 {'date': '27/07/2022', 'user': 'User_45839', 'number_of_emails': 110},
 {'date': '14/12/2022', 'user': 'User_15817', 'number_of_emails': 49}]

编写的Spark处理代码：

from pyspark import SparkContext

sc = SparkContext(appName = "app-name")
raw_data=sc.textFile("emails.txt")
def formatEmail (row):
    return {
        "date": row.split(',')[0],
        "user": row.split(',')[1], 
        "number_of_emails": int(row.split(',')[2])
    }

emailsRDD=raw_data.map(lambda r: formatEmail(r))
emailsRDD.take(3)

执行聚合代码时触发错误：

test=emailsRDD.map(lambda x: (x.get("date"),1)) \
  .reduceByKey(lambda x,y: x+y)
test.first()

错误信息：ValueError: RDD is empty

期望结果：以日期为键、出现次数为值的键值对，例如('27/07/2022', 2)

错误原因 #

• 文件读取失效：sc.textFile("emails.txt")未读取到有效数据，这是最核心的原因：
  • emails.txt文件本身为空，无任何内容；
  • 文件路径错误：使用相对路径时，Spark运行的工作目录与脚本所在目录不一致，导致找不到目标文件；集群模式下，文件未同步到所有节点对应路径，或未使用HDFS等分布式文件系统的路径。
• 处理逻辑潜在不匹配：如果文件有数据，但formatEmail函数的逻辑与实际文件格式不符（比如行内分隔符不是逗号、字段数量不足3个），可能导致map后生成的emailsRDD为空，但这种情况通常会先触发索引越界报错，优先级低于文件读取问题。

验证建议 #

可以先执行raw_data.isEmpty()判断原始RDD是否为空，或执行raw_data.take(5)确认是否能读取到文件内容，快速定位问题根源。

内容的提问来源于stack exchange，提问作者Evgenia