macOS安装confluent-kafka报错ld: library not found for -lrdkafka

安装失败的核心错误是ld: library not found for -lrdkafka，即编译链接阶段找不到confluent-kafka依赖的原生librdkafka C客户端库。日志中PyEval_InitThreads的弃用警告、末尾pip版本检查失败的提示都不是安装失败的诱因，无需额外处理。
从编译路径判断你使用的是Apple Silicon（arm64）架构macOS上通过Homebrew安装的Python 3.9，系统默认未预装confluent-kafka所需的原生依赖库，因此触发编译报错。

方案1：安装依赖后手动指定路径编译 #

• 首先通过Homebrew安装缺失的librdkafka库：

brew install librdkafka

• 安装完成后，临时指定编译器的头文件、库文件搜索路径，再执行pip安装：

# Apple Silicon芯片Mac的Homebrew默认安装路径为/opt/homebrew
export C_INCLUDE_PATH=/opt/homebrew/include
export LIBRARY_PATH=/opt/homebrew/lib
pip install confluent-kafka

如果不想每次设置临时环境变量，可以在安装时直接通过参数指定路径：

pip install confluent-kafka --global-option=build_ext --global-option="-I/opt/homebrew/include" --global-option="-L/opt/homebrew/lib"

如果你使用Rosetta 2转译模式运行终端，Homebrew的安装路径为/usr/local，将上述命令中/opt/homebrew替换为/usr/local即可。

方案2：使用预编译包跳过本地编译 #

升级pip到最新版本后，pip会自动匹配你当前系统架构、Python版本的预编译wheel包，无需本地编译C代码，也不需要提前安装librdkafka依赖：

pip install --upgrade pip setuptools wheel
pip install confluent-kafka

内容的提问来源于stack exchange，提问作者user4981459