Kafka启动脚本调用内置ZooKeeper jar的升级方法及相关疑问

不需要强制选用内置对应ZooKeeper版本的Kafka安装包，目前有两种成熟的升级路径，所有操作执行前必须全量备份ZooKeeper快照目录、事务日志目录，以及Kafka集群的全量配置、业务数据，避免操作故障。

• 方案1：替换Kafka内置ZooKeeper依赖（适合习惯用Kafka自带脚本启动ZooKeeper的测试/小规模环境）
  操作步骤：
  1. 按顺序停掉所有Kafka broker进程、ZooKeeper进程，确认2181、9092等相关端口完全释放
  2. 进入/kafka/libs/目录，将所有前缀为zookeeper-的内置jar包（包括zookeeper-3.5.8.jar、zookeeper-jute-3.5.8.jar等）移动到自定义备份目录，不要直接删除
  3. 从已经部署好的ZooKeeper 3.6.2安装目录的lib路径下，找到对应版本的ZooKeeper核心jar包、以及3.6.2新增的第三方依赖包，全部拷贝到/kafka/libs/目录下
  4. 检查zookeeper-server-start.sh调用的底层加载脚本kafka-run-class.sh，确认类路径逻辑没有硬编码绑定3.5.8版本的ZK包，不会优先加载其他路径的旧版本依赖
  5. 逐台启动ZooKeeper节点，执行echo stat | nc 127.0.0.1 2181确认ZK版本显示为3.6.2、集群选举正常、历史节点数据完整后，再逐台启动Kafka broker，验证生产消费、元数据读取功能正常即可
• 方案2：完全切换为独立部署的ZooKeeper 3.6.2集群（生产环境推荐方案）
  操作步骤：
  1. 停掉当前通过Kafka脚本启动的内置ZooKeeper进程
  2. 完成ZooKeeper 3.6.2集群的配置和启动，可直接复用原内置ZK的数据目录——3.5.x到3.6.2属于兼容版本跨度，数据格式、通信协议完全兼容，不需要做额外的数据转换，启动后确认ZK集群自身状态正常即可
  3. 修改所有Kafka节点的server.properties配置，将zookeeper.connect参数值更新为独立部署的3.6.2 ZK集群地址列表
  4. 调整Kafka的启动类路径，把/kafka/libs/下的旧版3.5.8 ZK相关jar包移出类加载范围，避免broker连接ZK时出现类版本冲突
  5. 逐台重启Kafka broker，确认broker在ZK中注册正常、控制器选举正常、生产消费链路无异常即可

注意：Kafka 2.6.0客户端与ZooKeeper 3.6.2的兼容性已经过大量生产环境验证，不需要重新编译Kafka，也不需要找特殊定制的Kafka安装包，只需要处理好类路径冲突即可正常运行。不建议跨大版本升级ZK（比如直接升级到3.8.x及以上），避免出现Watch机制、API协议不兼容的问题。

Kafka内置的ZooKeeper从设计之初就是面向本地开发测试的简易组件，完全不满足生产环境的运行要求，部署指引要求单独安装ZK核心原因有4个：

• 内置ZK没有生产级运维能力：自带的启动脚本默认只配置了极小的JVM堆内存，没有内置日志滚动、进程守护、故障自动拉起、配置同步等运维能力，直接跑生产很容易出现OOM、磁盘打满、进程异常退出后无人感知的问题，也没有配套的运维工具支持排障。
• 版本迭代不灵活：Kafka和ZooKeeper的发版周期完全独立，内置的ZK版本往往落后于ZK官方的稳定补丁版本。比如当前环境里的Kafka 2.6.0内置的是3.5.8，而ZK 3.6.x系列修复了大量一致性bug、性能瓶颈和安全漏洞，用内置ZK必须等Kafka发新版本才能升级ZK，单独部署则可以灵活打补丁、升级版本，不需要绑定Kafka的发版节奏。
• 资源隔离需求：ZooKeeper是强状态组件，对磁盘IO、网络延迟、内存稳定性要求极高，用内置ZK意味着ZK和Kafka broker共享机器资源，Kafka的日志刷盘、网络IO很容易抢占ZK的资源，导致ZK事务提交超时、触发集群脑裂、broker批量离线。单独部署ZK集群可以做独立的资源配额、容灾部署，稳定性提升非常明显。
• 多组件共享需求：大部分大数据、微服务架构下，不止Kafka会用ZooKeeper做协调，HDFS、YARN、ClickHouse、Dubbo等组件都可能依赖ZK，单独部署的ZK集群可以给全栈组件提供统一的协调服务，不需要每个组件都启动一套内置ZK，既浪费资源，也能降低运维复杂度。

补充：本地开发、快速搭验证环境的时候，完全可以直接用Kafka自带脚本启动内置ZK，省掉单独部署的步骤，效率很高，但生产环境几乎没有团队会直接用内置ZK跑业务。

内容的提问来源于stack exchange，提问作者user1112639