升级Confluent-kafka-go至v2.1.1后遇SSL证书及未注册scheme错误

问题原因 #

升级到confluent-kafka-go v2.1.1后，其依赖的librdkafka库会默认读取系统标准SSL证书目录/usr/lib/ssl/certs，但Scratch是极简空镜像，既没有该目录也无对应证书文件，因此触发" No such file or directory"错误；后续因证书路径无法被正常识别，进而出现"unregistered scheme: scheme=file"的连锁报错。

解决方案 #

方案1：复制CA证书并兼容默认路径 #

修改Dockerfile，从builder阶段复制CA证书到Scratch镜像，并创建librdkafka预期的目录结构：

FROM golang:1.20.4-alpine3.17 AS builder
RUN apk add --no-progress --no-cache bash ca-certificates gcc musl-dev
WORKDIR /build
COPY . .
RUN go mod download

RUN go build -tags musl -ldflags '-extldflags "-static"' -o /build/kafka-consumers

FROM scratch
WORKDIR /app
# 复制Alpine中的根CA证书
COPY --from=builder /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/
# 创建librdkafka默认查找的目录并建立软链接，兼容默认路径
RUN --mount=type=tmpfs,target=/tmp mkdir -p /usr/lib/ssl/certs && ln -s /etc/ssl/certs/ca-certificates.crt /usr/lib/ssl/certs/ca-certificates.crt
COPY --from=builder /build/kafka-consumers .
ENTRYPOINT ["/app/kafka-consumers"]

方案2：代码显式指定证书路径 #

在Kafka消费者配置中直接指定ssl.ca.location参数，指向复制到Scratch镜像的证书文件路径：

config := &kafka.ConfigMap{
    "bootstrap.servers": "xxx-xxx-xxx-xxx.yyy.zzz.aaa.confluent.cloud:9092",
    "security.protocol": "sasl_ssl",
    "sasl.mechanisms":   "PLAIN",
    "sasl.username":     "你的SASL用户名",
    "sasl.password":     "你的SASL密码",
    // 显式指定证书文件路径
    "ssl.ca.location":   "/etc/ssl/certs/ca-certificates.crt",
    // 其他消费者配置...
}

对应简化版Dockerfile（无需创建软链接）：

FROM golang:1.20.4-alpine3.17 AS builder
RUN apk add --no-progress --no-cache bash ca-certificates gcc musl-dev
WORKDIR /build
COPY . .
RUN go mod download

RUN go build -tags musl -ldflags '-extldflags "-static"' -o /build/kafka-consumers

FROM scratch
WORKDIR /app
# 仅复制CA证书到指定路径
COPY --from=builder /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/
COPY --from=builder /build/kafka-consumers .
ENTRYPOINT ["/app/kafka-consumers"]

补充说明 #

• Alpine镜像的根CA证书默认存放在/etc/ssl/certs/ca-certificates.crt，复制该文件即可满足大多数公网SSL站点的信任需求。
• 方案1无需修改代码，通过目录兼容适配librdkafka的默认行为；方案2更灵活，适合需要自定义证书路径或使用私有CA的场景。

内容的提问来源于stack exchange，提问作者i.am.it