Docker构建Go应用时报kafka相关标识符未定义错误如何解决

• 你使用的github.com/confluentinc/confluent-kafka-go/kafka是C语言封装的库，底层依赖librdkafka动态库，默认必须开启CGO才能编译，你设置CGO_ENABLED=0直接禁用了CGO，导致Go编译器找不到对应绑定的实现，抛出未定义错误
• 基础镜像golang:1.16-alpine默认没有预装gcc、librdkafka等编译依赖，就算开启CGO也会编译失败
• 本地构建能成功是因为你本地环境已经安装了librdkafka，且默认CGO是开启状态，所以能正常编译

方案1：调整Dockerfile适配confluent-kafka-go编译要求（改动最小） #

修改后的Dockerfile如下：

FROM golang:1.19-bullseye AS builder
RUN mkdir /app
# 安装编译所需的librdkafka依赖
RUN apt-get update && apt-get install -y --no-install-recommends librdkafka-dev
ADD . /app
WORKDIR /app
RUN go mod tidy
# 开启CGO，加static_all标签做静态编译，生成无外部依赖的二进制文件
RUN CGO_ENABLED=1 GOOS=linux go build -tags static_all -o myapp

FROM alpine:3.18 AS prod
COPY --from=builder /app/myapp .
CMD ["./myapp"]

修改说明：

• 把编译基础镜像换成debian系的golang镜像，避免alpine的musl libc和librdkafka的兼容问题
• 提前安装librdkafka-dev依赖包，满足库的编译要求
• 开启CGO的同时加静态编译标签，生成的二进制可以直接在轻量镜像中运行，不需要额外装依赖

方案2：替换为纯Go实现的kafka客户端 #

如果不想处理CGO相关的编译问题，可以把依赖替换为纯Go实现的kafka客户端，比如github.com/segmentio/kafka-go，该库完全不需要CGO支持，替换后不用调整原来的CGO_ENABLED=0配置，只需要修改代码中对应的kafka操作API即可。

内容的提问来源于stack exchange，提问作者Nik