K8s部署Schema Registry报错：_schemas主题留存策略配置错误

你在Broker侧配置的KAFKA_LOG_CLEANUP_POLICY=compact是集群全局默认配置，仅对配置生效后新建的主题生效。从报错看，_schemas主题在你修改全局配置前就已经被自动创建了，主题级别的cleanup.policy配置优先级高于集群全局配置，它当前留存策略还是delete，所以Schema Registry启动校验一直失败。
你之前做的降级版本操作完全无效，这个主题配置校验逻辑在5.x、6.x所有稳定版Schema Registry里都存在，和版本无关。

根据你的集群是否有存量Schema数据，二选一操作即可：

方案1：保留存量数据，直接修改主题配置 #

这个方案不需要重启Kafka集群，业务无感知，适合已经存了Schema数据的环境：

• 进入任意一个运行正常的Kafka Broker Pod
• 执行命令修改_schemas主题的留存策略：

  kafka-configs.sh --bootstrap-server localhost:9092 \
    --entity-type topics \
    --entity-name _schemas \
    --alter \
    --add-config cleanup.policy=compact
  

• 执行校验命令确认配置生效：

  kafka-configs.sh --bootstrap-server localhost:9092 \
    --entity-type topics \
    --entity-name _schemas \
    --describe
  

  输出中存在cleanup.policy=compact的配置项就说明修改成功，之后重启一直崩溃重启的Schema Registry Pod即可正常启动。

方案2：无存量数据时删除主题重建 #

如果是全新搭建的测试/生产集群，_schemas里没有有效数据，可以直接删除错误主题让Schema Registry重建：

• 如果你之前给Broker配置了KAFKA_AUTO_CREATE_TOPICS_ENABLE=false，可以选择两种方式：
  • 临时把该参数改成true重启Broker，等主题创建完成后再改回false
  • 不修改自动建主题配置，手动提前创建符合要求的_schemas主题，执行命令如下：

    kafka-topics.sh --bootstrap-server localhost:9092 \
      --create \
      --topic _schemas \
      --partitions 3 \
      --replication-factor 3 \
      --config cleanup.policy=compact
    

    注：分区数、复制因子可以根据你的集群规模调整，复制因子不要超过集群内可用Broker的总数。
• 执行命令删除旧的错误配置主题：

  kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic _schemas
  

• 重启Schema Registry Pod即可正常启动。

• 不要依赖Broker全局的log.cleanup.policy配置给内部主题打配置，核心内部主题（_schemas、Kafka事务主题、消费位移主题等）建议创建时单独显式指定cleanup.policy，避免全局配置被改动后影响内部主题运行。
• 如果你是用Strimzi、Confluent for Kubernetes这类Operator部署Kafka栈，不要在自定义Topic资源里给_schemas指定delete留存策略，Operator的调和逻辑会覆盖你手动改的主题配置，导致问题反复出现。

内容的提问来源于stack exchange，提问作者Someone