Apache Ignite缓存SQL查询空结果及Spark RDD插入问题

我来帮你排查这个在Ignite 2.2 + Spark 2.1环境下，RDD插入缓存后SQL查不到数据的问题，咱们从几个关键环节入手分析：

1. 实体类与缓存配置的正确性检查 #

首先看你定义的Custom_Class，这里有几个需要注意的点：

• 注解语法问题：Scala中使用@QuerySqlField不需要额外的@field修饰，你的写法@(QuerySqlField @field)(index = true)可能导致注解未被Ignite正确识别，进而没有创建对应的SQL索引，最终导致查询无结果。正确的写法应该是：

  case class Custom_Class(
    @QuerySqlField(index = true) a: String,
    @QuerySqlField(index = true) b: String,
    @QuerySqlField(index = true) c: String,
    @QuerySqlField(index = true) d: String,
    @QuerySqlField(index = true) e: String
  ) extends Serializable
  

  另外，一定要让实体类继承Serializable，否则Ignite无法正确序列化存储对象。
• 缓存初始化配置：创建缓存时，必须明确指定索引类型，否则SQL引擎无法识别实体类结构。你需要在缓存配置中添加setIndexedTypes，示例代码如下：

  import org.apache.ignite.Ignition
  import org.apache.ignite.configuration.CacheConfiguration
  
  object Create_Ignite_Cache {
    case class Custom_Class(
      @QuerySqlField(index = true) a: String,
      @QuerySqlField(index = true) b: String,
      @QuerySqlField(index = true) c: String,
      @QuerySqlField(index = true) d: String,
      @QuerySqlField(index = true) e: String
    ) extends Serializable
  
    def main(args: Array[String]): Unit = {
      val ignite = Ignition.start()
      val cacheCfg = new CacheConfiguration[String, Custom_Class]("myCustomCache")
      // 关键：指定缓存的键值类型，用于创建SQL索引
      cacheCfg.setIndexedTypes(classOf[String], classOf[Custom_Class])
      ignite.getOrCreateCache(cacheCfg)
    }
  }
  

2. Spark RDD写入Ignite的逻辑验证 #

确保你用正确的方式将RDD数据写入缓存：

• IgniteContext初始化：要保证Spark侧的IgniteContext和缓存创建脚本使用的是同一套Ignite配置，避免连接到不同的节点或集群。
• RDD类型匹配：写入的RDD必须是RDD[(K, V)]类型，其中K和V要和缓存的键值类型完全匹配（比如你的缓存是String -> Custom_Class，RDD就需要是RDD[(String, Custom_Class)]）。
• 强制刷新缓存：Ignite默认有写缓冲机制，写入后可以手动调用flush()确保数据持久化到存储层，示例代码：

  val igniteContext = new IgniteContext(sc, () => Ignition.start())
  val igniteRDD = igniteContext.fromCache[String, Custom_Class]("myCustomCache")
  // 假设你的数据RDD是dataRDD: RDD[(String, Custom_Class)]
  igniteRDD.savePairs(dataRDD)
  // 手动刷新缓存，确保数据写入
  igniteRDD.cache.flush()
  

3. SQL查询的正确性验证 #

查询时要注意几个细节：

• 表名与字段名：Ignite SQL默认使用实体类的简单类名作为表名（比如Custom_Class），字段名就是实体类中定义的变量名（a、b、c等），不要写错名称。
• 查询方式：如果用Ignite API查询，要使用SqlQuery并指定实体类类型，示例：

  val cache = ignite.getCache[String, Custom_Class]("myCustomCache")
  val query = new SqlQuery[Custom_Class, Custom_Class](classOf[Custom_Class], "a = ?")
  val results = cache.query(query.setArgs("testValue")).getAll()
  println(s"查询结果数量：${results.size}")
  

• JDBC查询注意事项：如果用JDBC客户端查询，要确保启用了SQL thin客户端，连接URL格式为jdbc:ignite:thin://<ignite-node-ip>/，并且查询时要指定正确的表名。

4. 版本与依赖兼容性检查 #

• 确保你的项目中引入的ignite-spark依赖版本和Ignite服务器版本一致（都是2.2.0），比如在build.sbt中：

  libraryDependencies += "org.apache.ignite" % "ignite-spark" % "2.2.0"
  

• Spark 2.1默认使用Scala 2.11，确保你的Scala脚本和依赖的Scala版本一致，避免因版本不匹配导致的隐性问题。

按照上面的步骤逐一排查，应该能找到SQL查询为空的原因，解决问题。

内容的提问来源于stack exchange，提问作者manuel mourato