Kubernetes/AirFlow运行Kafka消费者代码遇ssl.ca.location错误求助

错误本质 #

ssl.ca.location failed: error:05880002:x509 certificate routines::system lib 表明程序无法正常读取或处理指定的CA证书文件，核心原因集中在文件访问权限、路径有效性、证书格式、底层依赖兼容性这几个方面。

分步排查与修复 #

1. 确认证书文件的可访问性 #

在Kubernetes容器内执行以下命令，验证程序运行用户能否读取证书：

# 查看证书文件权限
ls -l /apps/files/ca.crt
# 切换到程序运行用户（如nobody）尝试读取
su - nobody -c "cat /apps/files/ca.crt"

• 若权限不足，调整文件及父目录权限：

  chmod 644 /apps/files/ca.crt
  chmod +x /apps/files
  

• 若通过K8s Volume挂载证书，检查Deployment的securityContext是否配置了正确的用户/组权限。

2. 调整证书配置方式 #

confluent-kafka底层的librdkafka对环境变量的优先级处理存在差异，尝试以下两种调整：

方式一：直接嵌入证书内容到配置

# 移除代码中的os.environ['SSL_CERT_FILE']设置
with open('/apps/files/ca.crt', 'r') as f:
    ca_cert_content = f.read()

conf = {
    'bootstrap.servers': 'bootstrap.com:443',
    'group.id': 'xyz',
    'auto.offset.reset': 'earliest',
    'enable.auto.commit': False,
    'ssl.ca.pem': ca_cert_content,  # 替换原ssl.ca.location
    'sasl.mechanism':'SCRAM-SHA-512',
    'sasl.username':'user',
    'sasl.password':'pwd',
    'security.protocol':'SASL_SSL',
    'api.version.request': True
}

方式二：在K8s部署中设置环境变量

在Deployment的env字段添加，而非在代码中设置：

env:
  - name: SSL_CERT_FILE
    value: "/apps/files/ca.crt"

3. 验证证书格式 #

确保ca.crt是PEM格式（文本开头为-----BEGIN CERTIFICATE-----），若为DER格式，执行转换：

openssl x509 -inform der -in /apps/files/ca.crt -out /apps/files/ca_pem.crt

之后修改代码中的证书路径为转换后的ca_pem.crt。

4. 统一底层依赖版本 #

confluent-kafka 2.0.2对应librdkafka 2.0.2，K8s容器基础镜像可能自带不同版本的librdkafka，导致兼容性问题。可在容器中安装匹配版本：

# Debian/Ubuntu系统示例
apt-get update && apt-get install -y librdkafka-dev=2.0.2-1

或直接使用Confluent官方提供的Python基础镜像，避免依赖冲突。

5. 禁用系统CA链 fallback #

添加配置项，强制使用指定的CA证书，避免与系统默认CA链冲突：

conf = {
    # 保留原有配置
    'ssl.enable.certificate.verification': True,
    'ssl.sigalgs': 'ECDSA+SHA256:RSA+SHA256',
    'ssl.cipher.suites': 'ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384'
}

验证方法 #

修改配置后，在K8s容器内直接运行脚本测试：

python /apps/code/kafka_read_msgs.py

内容的提问来源于stack exchange，提问作者AnumNuma