Apache Kafka 3.8.0客户端zstd-jni的.so文件加载问题求助

问题梳理 #

• 升级到Kafka 3.8.0客户端后，必须引入zstd-jni.jar，即便未使用压缩功能
• 该Jar会自动将.so原生库提取到/tmp目录，但/tmp无执行权限时，触发UnsatisfiedLinkError
• 尝试官方建议的-DZstdNativePath参数时，发现需指定完整.so文件路径而非目录，仅填目录会报错：

  java.lang.UnsatisfiedLinkError: Expecting an absolute path of the library: lib
  

• 尝试设置-DZstdTempFolder=lib期望改变提取目录，但未生效，仍报错：

  java.lang.UnsatisfiedLinkError: /tmp/libzstd-jni-1.5.6-315290147135917141017.so: /tmp/libzstd-jni-1.5.6-315290147135917141017.so: failed to map segment from shared object
  

为什么未用压缩仍需依赖zstd-jni？ #

Kafka 3.8.0客户端默认将zstd作为可选压缩算法纳入依赖链，即便你未在生产者/消费者配置中启用zstd压缩，类路径加载时仍会触发zstd-jni的初始化逻辑，进而尝试加载原生库。

解决方法 #

1. 修正zstd.tempFolder参数（最便捷） #

你之前使用的参数名错误，zstd-jni的正确系统属性是zstd.tempFolder（小写开头），需指定绝对路径的目录：

-Dzstd.tempFolder=/your/executable/directory

确保该目录具备读、写、执行权限，这样zstd-jni会将.so文件提取到指定目录，而非/tmp。

2. 正确使用ZstdNativePath参数 #

若要手动指定.so文件路径，需：

• 从zstd-jni.jar中提取对应平台的.so文件（比如libzstd-jni-1.5.6.so）
• 将文件放到你有权限的目录，然后指定完整路径：

-DZstdNativePath=/your/path/libzstd-jni-1.5.6.so

3. 调整/tmp目录权限（若环境允许） #

给/tmp添加执行权限：

chmod +x /tmp

注意：部分安全严格的环境可能不允许修改/tmp权限，此方法需谨慎使用。

4. 排除zstd-jni依赖（需验证兼容性） #

若确认无需zstd压缩支持，可在构建工具中排除zstd-jni依赖：

• Maven示例：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.8.0</version>
    <exclusions>
        <exclusion>
            <groupId>com.github.luben</groupId>
            <artifactId>zstd-jni</artifactId>
        </exclusion>
    </exclusions>
</dependency>

• Gradle示例：

implementation('org.apache.kafka:kafka-clients:3.8.0') {
    exclude group: 'com.github.luben', module: 'zstd-jni'
}

注意：需验证排除后客户端是否能正常运行，避免因缺失依赖导致其他异常。

内容的提问来源于stack exchange，提问作者MeBigFatGuy