IntelliJ中Kafka Subscribe符号无法解析及编译错误求助

我来帮你分析一下这个问题，从编译错误信息里能很清楚地看到问题所在：

错误原因 #

Subscribe方法的所有重载版本里，没有任何一个是接收单个字符串作为第一个参数的，它要求的是可迭代的主题集合（比如Iterable[String]或者java.util.Collection[String]），但你传入的metaInfoTopic是单个String类型，这就直接导致了重载方法不匹配的错误。而IDE里的"Cannot resolve symbol Subscribe"标红其实是这个参数不匹配问题引发的连锁提示，并不是真的找不到Subscribe类。

解决方案 #

只需要把单个主题字符串包装成一个集合（比如Scala的List或者Set），就能匹配到正确的Subscribe重载方法了。修改你的代码中调用Subscribe的那一行：

// 把单个主题转为List集合
Subscribe[String, String](List(metaInfoTopic), metaInformationKafkaParamas)

修改后的完整方法代码示例：

import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe
import org.apache.spark.streaming.kafka010.KafkaUtils
import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent
import org.apache.commons.lang3.RandomStringUtils

def startMetaInfoSubscriber(ssc: StreamingContext, kafkaParams: Map[String, Object], metaInfoTopic: String) {
  // Set a unique Kafka group identifier to metaInformationStream (each stream requires a unique group ID)
  val metaInformationKafkaParamas = kafkaParams ++ Map[String, Object]("group.id" -> RandomStringUtils.randomAlphabetic(10).toUpperCase)
  KafkaUtils.createDirectStream[String, String](
    ssc,
    PreferConsistent,
    // 这里把单个主题转为List集合
    Subscribe[String, String](List(metaInfoTopic), metaInformationKafkaParamas)
  ).foreachRDD(metaInfoRDD => if (!metaInfoRDD.isEmpty()) {
      println("Saving MetaInformation")
      metaInfoRDD
      // metaInfoRDD.write.mode("append").format("com.databricks.spark.csv").save(s"hdfs://172.16.8.162:8020/user/sparkload/assetgroup/prueba-kafka")
    } else {
      println("There is not any message for topic 'tu-topic'")
    }
  )
}

额外检查点 #

• 你的pom.xml依赖配置是正确的，spark-streaming-kafka-0-10_2.11的版本和Spark版本保持一致（2.3.0），不需要调整依赖。
• 确保RandomStringUtils已经正确导入（我在示例里补充了导入语句，如果你的代码里已经有了可以忽略）。

这样修改后，编译错误和IDE的标红提示都会消失，代码就能正常运行了。

内容的提问来源于stack exchange，提问作者Asier Gomez