Confluent-kafka多阶段Docker构建失败，请求技术支持

问题现象 #

基于Amazon Linux 2的多阶段Docker构建，计划从源码编译librdkafka 2.2.0后安装confluent-kafka 2.2.0，执行make install时出现如下错误，导致构建终止：

#12 68.54 d $DESTDIR/usr/include/librdkafka
#12 68.54 /bin/sh: d: command not found
#12 68.54 rdkafka.h rdkafka_mock.h $DESTDIR/usr/include/librdkafka
#12 68.54 /bin/sh: rdkafka.h: command not found
#12 68.54 make[1]: *** [lib-install] Error 127
#12 68.54 make: *** [install-subdirs] Error 2

问题根源 #

你的Dockerfile存在两处关键错误：

1. 重复且无效的构建步骤：第一个RUN指令已经完成了librdkafka的克隆、版本切换、配置、编译和安装，但后续又新增了指向不存在路径/usr/src/librdkafka-2.2.0的WORKDIR，并再次执行configure/make/install。由于该路径不存在，./configure执行失败，导致Makefile未正确生成，后续make install执行时出现无意义的命令错误。
2. 冗余依赖引入：提前安装librdkafka-devel会引入系统自带的librdkafka库，可能与源码编译的版本冲突。

修复后的Dockerfile #

# 使用Amazon Linux 2作为构建阶段基础镜像
FROM amazonlinux:2.0.20230418.0 AS builder

# 安装构建工具和必要依赖
RUN yum install -y gcc-c++ make openssl-devel zlib-devel git && \
    yum groupinstall -y "Development Tools" && \
    yum clean all

# 克隆、编译并安装librdkafka 2.2.0
RUN cd /opt && \
    git clone https://github.com/edenhill/librdkafka.git && \
    cd librdkafka && \
    git checkout v2.2.0 && \
    ./configure --prefix=/usr && \
    make -j 3 && \
    make install && \
    ldconfig

# 最终镜像阶段
FROM amazonlinux:2.0.20230418.0

# 从构建阶段复制编译好的librdkafka文件
COPY --from=builder /usr/lib/librdkafka* /usr/lib/
COPY --from=builder /usr/include/librdkafka /usr/include/librdkafka

# 设置库路径
ENV LD_LIBRARY_PATH=/usr/lib:$LD_LIBRARY_PATH

# 安装Python环境和confluent-kafka
RUN yum install -y python2.7 python-pip && \
    pip install confluent-kafka==2.2.0 && \
    yum clean all

# 复制应用代码并设置工作目录
COPY . /app
WORKDIR /app

# 启动命令
CMD ["python", "main.py"]

修复说明 #

• 移除了重复的librdkafka构建步骤，保留唯一完整的编译流程
• 移除了冗余的librdkafka-devel依赖，避免版本冲突
• 合并了yum安装命令并添加yum clean all，减少镜像体积
• 修正了pip安装命令的版本符号（使用==而非=，符合pip语法规范）

内容的提问来源于stack exchange，提问作者Jithin