关于Spark Streaming所用Kafka连接器与Kafka 2.1.0版本适配性的疑问

这个问题其实很多刚接触Spark与Kafka集成的开发者都会碰到，我来给你把这个逻辑捋清楚：

• 连接器版本里的0-10不是适配旧Kafka版本，而是API版本标识
  Spark的spark-streaming-kafka-0-10_2.11和spark-sql-kafka-0-10_2.11中的0-10，对应的是Kafka在0.10.0版本引入的全新消费者API。这个API的核心设计从那之后就保持了极强的稳定性，后续Kafka的高版本（包括你提到的2.1.0）都完全兼容这套API。

• 0-10系列连接器兼容大部分新Kafka版本
  只要Kafka没有对核心的生产者/消费者API做突破性改动，Spark就不会更新连接器的API版本号。官方明确标注，0-10系列连接器支持Kafka 0.10.0及以上的所有版本，包括你正在使用的Kafka 2.1.0，完全不存在“用旧版本连接器适配新Kafka”的问题。

• 额外小提示
  如果你担心兼容性，可以查看Spark官方的版本兼容性说明，里面会清晰列出连接器与对应Kafka版本的支持范围，确保你的集成环境是匹配的。

内容的提问来源于stack exchange，提问作者user1888243