Spark Scala中List内多DataFrame缓存失效，重复读取Snowflake问题求助

核心错误：索引误用导致部分DataFrame未缓存 #

Scala的List是0-based索引，你的代码中listDfs = List(dfA, dfB, dfC)对应的索引映射是：

• listDfs(0) = dfA
• listDfs(1) = dfB
• listDfs(2) = dfC

但你缓存时犯了索引错误：

• 用listDfs(2).cache()缓存了dfC（而非目标的dfB）
• 又用listDfs.last.cache()再次缓存dfC

这直接导致dfB完全没有被缓存，每次使用都会重新从Snowflake拉取计算。

次要错误：未绑定过滤条件变量 #

你在foreach中使用的str未定义，属于语法错误，实际应该将过滤条件数组与缓存后的DataFrame列表配对遍历。

修正后的完整代码 #

1. 正确缓存所有DataFrame #

val listDfs = List(dfA, dfB, dfC)

// 按正确索引缓存每个DataFrame并触发缓存动作
val dfACached = listDfs(0).cache()
dfACached.count() // 强制触发缓存写入内存

val dfBCached = listDfs(1).cache()
dfBCached.count()

val dfCCached = listDfs(2).cache()
dfCCached.count()

val listDfsCached: List[DataFrame] = List(dfACached, dfBCached, dfCCached)

2. 正确配对过滤条件与DataFrame #

val arrayFilters = Array("a", "b", "c")

// 用zip将DataFrame和对应的过滤条件配对，解决变量未定义问题
listDfsCached.zip(arrayFilters).foreach { case (df, filterStr) =>
  val dfFiltered = df.filter(col("test") === filterStr)
  // 执行后续转换与写入操作
  dfFiltered.write.json(s"output_$filterStr.json")
}

验证缓存是否生效的方法 #

1. 代码层面验证：在缓存后调用spark.catalog.isCached(dfACached)，返回true表示缓存成功。
2. Spark UI验证：本地模式下访问http://localhost:4040，进入Storage页面，查看目标DataFrame是否显示为In Memory状态。

额外注意事项 #

• 确保DataFrame确实是小尺寸：如果数据量极小，Spark优化器可能会跳过缓存直接计算，但这种情况极少发生。
• 本地模式缓存配置：默认spark.storage.memoryFraction=0.6，足够存储小数据，无需额外调整。

内容的提问来源于stack exchange，提问作者Javier de la Iglesia