如何配置使用Kerberos认证的kafka-python消费者 含JAAS、krb5设置方法

前置依赖安装 #

首先需要安装对应依赖库，执行以下命令：

pip install kafka-python gssapi

配置说明 #

你之前查到的JVM参数是Java生态Kafka客户端/服务端的配置方式，Python kafka-python库不依赖JVM，不需要单独配置jaas.conf文件，仅需配置krb5.conf和相关认证参数即可。

1. krb5.conf配置 #

krb5.conf是Kerberos通用配置文件，有两种放置方式：

• 系统全局生效：将配置好的krb5.conf放到/etc/krb5.conf路径，所有调用Kerberos的程序都会默认读取该配置
• 自定义路径：如果需要单独为Kafka客户端指定配置，可通过环境变量KRB5_CONFIG指定路径，例：

  export KRB5_CONFIG=/your/custom/path/krb5.conf
  

krb5.conf核心需要配置KDC地址、域名映射，示例配置如下：

[libdefaults]
default_realm = YOUR_COMPANY.COM
dns_lookup_kdc = false
dns_lookup_realm = false
ticket_lifetime = 86400
renew_lifetime = 604800
forwardable = true
default_tkt_enctypes = aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96
default_tgs_enctypes = aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96
permitted_enctypes = aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96

[realms]
YOUR_COMPANY.COM = {
  kdc = kdc1.your-company.com
  kdc = kdc2.your-company.com
  admin_server = kadmin.your-company.com
}

[domain_realm]
.your-company.com = YOUR_COMPANY.COM
your-company.com = YOUR_COMPANY.COM

2. 认证参数配置 #

不需要jaas.conf，直接在KafkaConsumer初始化时传入Kerberos认证参数即可，支持两种方式：

方式1：直接写在代码参数中

补全原有代码的keytab和principal参数即可，示例：

from kafka import KafkaConsumer

consumer = KafkaConsumer(
    'your_topic_name', # 补充要消费的topic名称
    bootstrap_servers=brokers, 
    group_id='group_id', 
    auto_offset_reset='earliest',
    security_protocol='SASL_PLAINTEXT', 
    sasl_mechanism='GSSAPI', 
    sasl_kerberos_service_name='kafka',
    # 新增Kerberos认证参数
    sasl_kerberos_keytab='/path/to/your/client.keytab', # 你的用户keytab路径
    sasl_kerberos_principal='kafka_client@YOUR_COMPANY.COM' # 你的Kerberos主体名
)

方式2：通过环境变量配置（适合敏感信息不硬编码的场景）

在运行Python程序前设置以下环境变量即可，代码不需要额外修改：

export KAFKA_SASL_KERBEROS_KEYTAB=/path/to/your/client.keytab
export KAFKA_SASL_KERBEROS_PRINCIPAL=kafka_client@YOUR_COMPANY.COM

验证步骤 #

1. 先验证Kerberos本身连通性，执行命令：

   kinit -kt /path/to/your/client.keytab kafka_client@YOUR_COMPANY.COM
   

2. 执行klist命令查看是否成功获取票据，返回票据信息则Kerberos配置正常
3. 运行Python消费者代码验证消费逻辑

常见注意事项 #

• 客户端需要和Kerberos KDC、Kafka Broker的时间同步，时间差不能超过5分钟，否则会认证失败
• 客户端需要能正常解析Kafka Broker的主机名，可通过配置/etc/hosts或者DNS保证解析正常
• 生产环境不要硬编码keytab路径和principal信息，建议通过环境变量或者配置中心管理敏感参数

内容的提问来源于stack exchange，提问作者Timothy