kafka-python使用时提示lz4压缩编解码器库未找到该如何解决

报错原因 #

kafka-python 1.4.7 未内置 lz4 压缩格式的依赖库，当消费的 Kafka Topic 消息采用 lz4 格式压缩时，就会触发kafka.errors.UnsupportedCodecError: libraries for lz4 compression codec not found报错。

解决方案 #

• 方案一：安装匹配版本的 lz4 依赖
  kafka-python 1.4.7 对 lz4 库的版本有明确兼容性要求，直接安装最新版 lz4 可能出现适配问题，推荐安装匹配版本：

# Python 3 环境执行
pip install lz4==3.1.10

# Python 2.7 环境执行
pip install lz4==2.2.1

• 方案二：Consumer 配置禁用 lz4 解码
  如果业务确认不需要处理 lz4 压缩的消息，可在初始化 KafkaConsumer 时指定compression_type=None跳过压缩解码，示例配置：

from kafka import KafkaConsumer

consumer = KafkaConsumer(
    "your_topic",
    bootstrap_servers=["127.0.0.1:9092"],
    compression_type=None,
    # 其余自定义配置
    auto_offset_reset="earliest"
)

• 方案三：升级 kafka-python 版本
  2.0.0 及以上版本的 kafka-python 优化了压缩依赖的适配逻辑，升级后也可解决该问题：

pip install kafka-python>=2.0.2

升级前请确认业务代码和新版 kafka-python 的 API 兼容性，避免出现其他调用异常。

验证方式 #

调整配置或安装依赖后重启 Consumer 服务，若不再抛出 lz4 相关报错即为修复成功。如果仍有问题，可执行pip list | grep lz4检查已安装的 lz4 版本是否和当前 Python 环境、kafka-python 版本匹配。

内容的提问来源于stack exchange，提问作者Smalltalkguy