Spark2升Spark3、Scala2.11升2.12后编译报错求助

编译错误的核心原因是：你传入client.exists()的key是自定义的com.soc.finance.key.StreamingKey类型，但当前使用的Redis客户端exists方法只接受String或Array[Byte]类型的参数。Spark 3+和Scala 2.12升级后，类型检查更严格，之前版本中可能存在的隐式类型转换（自动把StreamingKey转成String/字节数组）不再生效，导致编译失败。

解决方法 #

需要显式把StreamingKey转换为Redis客户端支持的类型，有两种常见方案：

1. 转换为String类型
   如果你的StreamingKey可以通过字符串形式唯一标识（比如重写了toString方法，或者有专门的序列化方法），直接调用转换方法：

   def deduplicate(dStream: DStream[InRecord]): DStream[InRecord] = {
       dStream.flatMap {
         case (key, objin) =>
           RedisBaseClient.withClient { client =>
             // 假设StreamingKey有toRedisKey方法返回符合要求的字符串键
             if (client.exists(key.toRedisKey)) {
               logger.info(s"Dropping duplicate sale-item-in key=$key")
               None
             }
             else {
               Some((key, objin))
             }
           }
       }
   }
   

   如果StreamingKey的toString方法输出已经适合作为Redis键，也可以直接用key.toString替代key.toRedisKey。

2. 转换为字节数组
   如果需要用二进制形式存储键，可以把StreamingKey序列化为Array[Byte]（比如用JSON、Protobuf等序列化框架）：

   // 假设已经实现了StreamingKey转字节数组的方法
   if (client.exists(key.toByteArray)) {
       // ... 逻辑不变
   }
   

额外说明 #

如果之前版本是通过隐式转换实现的类型兼容，检查项目中是否存在StreamingKey到String/Array[Byte]的隐式转换定义，升级后可能因为Scala版本的隐式规则变化导致该转换不再被识别，这种情况下可以显式调用转换方法，或者重新调整隐式转换的作用域确保编译器能识别。

内容的提问来源于stack exchange，提问作者pecar