删除Confluent Kafka主题后如何禁用读写？寻求主题属性解决方案

• Confluent Kafka基于IAAS部署，仅允许各应用团队的指定预定义用户拥有主题读写权限，团队可自主创建/删除用户集合。
• 针对大量主题场景做了两项优化：
  1. 若团队有100个主题且所有主题的读写权限都授予同一批用户，就将权限配置在团队级别（单用户仅需1条配置，而非100条）
  2. 删除主题时，先移除主题级权限，两周后彻底删除主题，以此确保应用无法读写已删除主题
• 当前问题：由于权限保留在团队级别，主题被标记删除后，团队用户仍能对其进行读写操作，现咨询是否存在可配置的Kafka主题属性，能阻止对主题的任何读写操作，以便通过代码为已删除主题配置该属性。

Confluent Kafka支持通过主题属性和ACL组合的方式来彻底阻止对主题的读写操作，具体方案如下：

核心主题属性配置 #

1. read.only 属性
   这个属性可以将主题设置为只读模式，配置后所有生产者无法向主题写入数据，但消费者仍可读取。如果需要完全阻止读写，还需配合ACL规则。设置命令示例：

   kafka-configs --bootstrap-server <你的Bootstrap地址> --alter --entity-type topics --entity-name <目标主题名> --add-config read.only=true
   

2. 配合ACL规则强化限制
   由于团队级权限是ALLOW规则，而Kafka的ACL匹配逻辑是DENY优先于ALLOW，所以可以给待删除主题添加主题级的DENY ACL，直接覆盖团队级的权限：

   kafka-acls --bootstrap-server <你的Bootstrap地址> --deny --topic <目标主题名> --principal User:<团队用户名> --operation Read --operation Write
   

   如果团队用户较多，也可以通过批量脚本实现批量添加DENY规则。

最优执行流程 #

1. 当应用团队发起主题删除请求时，先为该主题配置read.only=true，阻止写入操作
2. 同时添加主题级的DENY ACL，禁止所有相关团队用户的读写权限
3. 两周等待期后，再彻底删除主题

这样既解决了团队级权限导致的读写漏洞，又能保证过渡期间的数据安全。

内容的提问来源于stack exchange，提问作者Raman