Kafka Mirror Maker同步Snappy压缩主题报错求助

问题根源 #

从报错信息看，核心故障点有两个：

• 容器内/tmp为只读文件系统，snappy-java尝试提取native库文件到该目录时失败
• 无法加载snappy的native库，最终导致org.xerial.snappy.Snappy类初始化失败

解决方案 #

1. 指定可写的Snappy临时目录 #

snappy-java默认会将native库解压到/tmp，如果容器的/tmp被配置为只读，需手动指定一个可写目录：

• 启动容器时通过环境变量配置：

  docker run -e SNAPPY_TMP_DIR=/opt/kafka/tmp \
    -v /host/local/tmp:/opt/kafka/tmp \
    confluentinc/cp-kafka:6.0.15
  

• 或在自定义Dockerfile中创建并授权目录：

  FROM confluentinc/cp-kafka:6.0.15
  RUN mkdir -p /opt/kafka/tmp && chown appuser:appuser /opt/kafka/tmp
  ENV SNAPPY_TMP_DIR=/opt/kafka/tmp
  

2. 确保snappy-java库在Kafka的classpath中 #

confluent的cp-kafka镜像已内置snappy-java，若需替换版本，需将jar包放到Kafka默认classpath目录（而非/lib）：

FROM confluentinc/cp-kafka:6.0.15
COPY snappy-java-1.1.10.5.jar /usr/share/java/kafka/snappy-java-1.1.10.5.jar
# 删除旧版本备份文件避免冲突
RUN rm -f /usr/share/java/kafka/snappy-java-*.jar.orig

3. 配置JVM参数加载native库 #

通过KAFKA_OPTS环境变量指定java.library.path，确保JVM能定位到snappy的native库：

docker run -e KAFKA_OPTS="-Djava.library.path=/usr/share/java/kafka/ -DSNAPPY_TMP_DIR=/opt/kafka/tmp" \
  confluentinc/cp-kafka:6.0.15

4. 验证目录权限 #

确保运行Mirror Maker的用户（confluent镜像默认是appuser）对指定的临时目录有读写权限，可进入容器执行验证：

su appuser -c "touch /opt/kafka/tmp/test-file && rm /opt/kafka/tmp/test-file"

若执行失败，需调整目录权限：RUN chmod 755 /opt/kafka/tmp

内容的提问来源于stack exchange，提问作者Monika X