Spark Scala代码突发RDD缺少SparkContext异常排查求助

你碰到的这个报错，核心问题出在代码的执行逻辑违反了Spark的核心执行模型，和你之前修改SparkSession的操作其实没关系——哪怕撤销了那次修改，代码本身的设计错误依然会触发这个异常。

问题根源分析 #

先看你代码里的这段关键逻辑：

for (i <- primary_key_distinct) {
  var lengthofarray = 0
  println(i)
  b.foreach(println)
}

这里的primary_key_distinct是一个RDD，Scala中直接写for (i <- primary_key_distinct)会被隐式转换成primary_key_distinct.foreach(i => {...})——这是一个在executor节点上执行的action操作。而你在这个foreach的内部又调用了b.foreach(println)，相当于在executor的任务里尝试发起另一个RDD的action。

Spark的规则是：所有RDD的转换和action都必须由driver端触发，executor只能执行分配给它的具体任务，不能主动发起新的Spark作业。这种"在executor里嵌套执行RDD操作"的行为，就会导致报错里提到的"This RDD lacks a SparkContext"问题。

解决方案 #

根据你的输入数据和需求（要对比源数据和目标数据的差异），分两种情况调整代码：

情况1：只是想分别输出主键集合和差异数据

完全不需要嵌套循环，直接分开执行action即可：

// 输出去重后的主键
primary_key_distinct.foreach(println)
// 输出源和目标的差异记录
b.foreach(println)

情况2：要针对每个主键，输出对应的差异记录

不要用循环嵌套，而是用RDD的转换操作实现关联：

// 将差异数据b按主键做key映射
val bKeyed = b.keyBy(_._1)
// 关联主键集合和差异数据，只保留匹配的记录并输出
primary_key_distinct.map(key => (key, key))
  .join(bKeyed)
  .values
  .foreach(println)

额外小建议 #

• 尽量用val替代var：你的s、k、extra_In_Dest等变量都没有重新赋值，改成val更符合Scala的风格，也更安全。
• 处理CSV时注意边界：直接用split(",")(0)可能会因为空行或格式错误触发数组越界，建议先做非空判断。
• 集群模式路径要规范：本地测试用的/home/hadoopuser/Desktop/input/在集群其他节点可能不可访问，换成HDFS路径会更稳妥。

内容的提问来源于stack exchange，提问作者Pyd