Spark 2.3版本下Spark Streaming是否支持Kafka 1.1.0？

别担心，Spark 2.3搭配spark-streaming-kafka-0-10_2.11是完全支持Kafka 1.1.0的，不需要特意安装Kafka 0.10.x版本，原因如下：

• Kafka协议向前兼容：Kafka从0.10.x版本开始，核心消息传输协议保持了良好的向前兼容性。spark-streaming-kafka-0-10模块基于Kafka 0.10的客户端API开发，这个API可以和更高版本（包括1.1.0）的Kafka Broker正常通信，不会出现兼容性障碍。
• Spark官方支持范围：Spark 2.3的官方文档明确标注，spark-streaming-kafka-0-10模块支持Kafka 0.10.0及以上版本，1.1.0完全在这个支持区间内。
• Jar包命名的误区：Jar包名称里的0-10指的是该模块适配的Kafka客户端API版本，而非要求Broker必须是这个版本。只要Broker版本不低于0.10.0，就能正常对接使用。

如果还是有顾虑，可以在Maven依赖中显式指定Kafka客户端版本，确保和Broker版本一致：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>1.1.0</version>
</dependency>

内容的提问来源于stack exchange，提问作者Joe