Apache Ignite RDD使用自定义case类读取异常问题求助

首先明确说：这种用法完全可行！Ignite支持自定义类型作为IgniteRDD的键或值，你遇到的问题核心是类加载的一致性问题——Spark的Driver/Executor和Ignite集群节点的类路径里必须都能找到CustomType的定义，否则Ignite在反序列化数据时会找不到这个类。

问题根源 #

你在Spark Driver的脚本里直接定义了case class CustomType，这个类的字节码只存在Driver的本地环境中。当你调用savePairs时，数据被序列化后发送到Ignite集群，但Ignite服务器节点并没有这个类的定义；反过来读取数据时，Ignite尝试反序列化数据，就会抛出ClassNotFoundException。

解决方案（生产环境推荐） #

按照以下步骤操作，确保所有节点都能访问到自定义类：

1. 将自定义类打包成独立JAR
   把CustomType从Spark脚本里抽出来，放到一个单独的Scala项目中，编译成可共享的JAR包：

   // 比如放到com.yourpackage包下的CustomType.scala文件
   package com.yourpackage
   
   case class CustomType(tid: String, subtid: String, value: Double)
   

   用sbt或Maven将这个类打包成JAR（比如命名为custom-ignite-types.jar）。

2. 给Ignite集群节点添加JAR
   将打包好的JAR复制到每个Ignite服务器节点的IGNITE_HOME/libs目录下，然后重启Ignite集群。这样Ignite节点启动时就会加载这个类，反序列化数据时就能找到它了。

3. Spark作业引用该JAR
   提交Spark作业或启动Spark Shell时，通过--jars参数指定这个JAR，确保Spark的Driver和所有Executor都能加载到CustomType：

   # 提交Spark作业
   spark-submit --jars custom-ignite-types.jar your-ignite-job.scala
   
   # 或者启动Spark Shell
   spark-shell --jars custom-ignite-types.jar
   

4. 修改Spark代码
   现在CustomType已经在外部JAR中，你的代码只需要导入这个类即可，不要再在脚本内重复定义：

   import org.apache.ignite.spark._
   import org.apache.ignite.configuration._
   // 导入外部JAR中的自定义类
   import com.yourpackage.CustomType
   
   val ic = new IgniteContext(sc, "examples/config/spark/example-shared-rdd.xml", true)
   val cacheRdd = ic.fromCache[Int, CustomType]("TEST")
   cacheRdd.savePairs(numberedCustomEntries)
   

临时调试方案（仅本地测试用） #

如果你只是在本地模式下快速测试，可以尝试将CustomType定义在一个object中，利用Spark的广播类加载器让Executor能访问到，但这种方式不适用于分布式集群：

object CustomTypes {
  case class CustomType(tid: String, subtid: String, value: Double)
}
import CustomTypes._

但还是强烈推荐使用JAR包的方式，这是分布式环境下的标准做法。

内容的提问来源于stack exchange，提问作者pu239ppy