Spark Streaming 1.6与Kafka 0.10兼容性及commitAsync API使用问询

嘿，这个问题我刚好有实操经验，给你明确梳理下：

• Spark Streaming 1.6版本无法与Kafka 0.10搭配使用，尤其是你提到的commitAsync API场景。
• Spark Streaming 1.6的官方Kafka集成模块主要适配Kafka 0.8.x和0.9.x版本，而Kafka 0.10在协议、offset管理机制以及commitAsync这类API上做了不少更新，这些新特性的适配是在Spark Streaming 2.1.X及后续版本才完成的。
• 你查到的信息是准确的：Kafka 0.10的官方支持确实从Spark Streaming 2.1.X开始，强行在1.6版本中对接Kafka 0.10，大概率会出现offset提交失败、消费逻辑异常等兼容性问题。

给你的小建议： #

如果必须使用Kafka 0.10的commitAsync API，建议升级Spark Streaming到2.1.X及以上版本；如果暂时无法升级Spark，只能考虑将Kafka降级到0.9.X版本，才能保证commitAsync正常工作。

内容的提问来源于stack exchange，提问作者Elvish_Blade