使用Ansible Playbook创建Kafka Topic报Java未找到错误，求最佳实践

报错根因 #

你遇到的kafka-run-class.sh: line 309: exec: java: not found报错，核心原因是Ansible在目标主机执行kafka-topics.sh脚本时，运行环境的PATH中没有包含Java可执行文件的路径。Ansible的command/shell模块默认启动的是非交互、非登录shell，不会加载/etc/profile、~/.bashrc等用户/全局环境配置文件，如果目标主机的Java环境变量是配置在这些文件里，就会出现找不到Java的问题。

现有Playbook的不合理点 #

你的实现不属于最佳实践，存在几个明显问题：

• 变量语法错误：kafka: "{{ kafka_server }}:{ { kafka_port }}"和zookeeper变量的取值占位符中间多了空格，正确写法应为{{ kafka_server }}:{{ kafka_port }}，后续用到对应变量时会触发报错。
• 缺少环境校验：执行Kafka命令前没有预先校验Java环境可用性，也没有主动加载Java环境变量，容易出现找不到依赖的问题。
• 没有幂等性：现有逻辑每次执行都会尝试创建Topic，若Topic已存在就会报错，不符合Ansible幂等性要求。
• 语法过时：目前Kafka已经不推荐使用--zookeeper参数创建Topic，后续新版本会彻底移除该参数，推荐用--bootstrap-server直连Kafka集群。
• 路径硬编码：Kafka脚本路径写死为绝对路径，兼容性差，集群节点安装路径不一致时会执行失败。

最优处理方案 #

1. 快速修复当前报错 #

可以直接在任务中传递Java环境变量，或者主动加载系统环境配置，同时修正变量语法错误：

---
- name: Create topics
  hosts: all
  vars:
    kafka_topics: /home/kafka/kafka_2.11-2.4.0/bin/kafka-topics.sh 
    kafka_server: 172.16.1.20
    kafka_port: 9092
    kafka: "{{ kafka_server }}:{{ kafka_port }}" # 修正变量语法
    zookeeper_server: 172.16.1.20
    zookeeper_port: 2181
    zookeeper: "{{ zookeeper_server }}:{{ zookeeper_port }}" # 修正变量语法
    replication_factor: 2
    partitions: 10
    # 可将Java路径抽到变量中统一管理
    java_home: /usr/lib/jvm/java-1.8.0-openjdk

  tasks:
    - name: Load CERT topics to create
      include_vars:
        file: ../vars/create_topics.yml

    - name: Create Topics
      command:
        argv: 
          - "{{ kafka_topics }}"
          - --create
          - --zookeeper
          - "{{ zookeeper }}"
          - --replication-factor 
          - "{{ replication_factor }}"
          - --partitions 
          - "{{ partitions }}"
          - --topic
          - "{{ item }}"
      loop: "{{ topics }}"
      # 传递Java环境变量
      environment:
        JAVA_HOME: "{{ java_home }}"
        PATH: "{{ ansible_env.PATH }}:{{ java_home }}/bin"
      # 兼容已存在的Topic，不报错
      register: create_result
      failed_when: create_result.rc !=0 and 'already exists' not in create_result.stderr

2. 长期最佳实践优化 #

如果需要长期维护Kafka Topic管理逻辑，建议做以下优化：

• 提前用Ansible批量部署配置JDK环境，确保所有目标节点Java运行环境一致可用。
• 替换过时的--zookeeper参数，改用--bootstrap-server直连Kafka集群。
• 增加Topic存在性校验，只创建不存在的Topic，减少不必要的执行逻辑：

- name: Get existing Kafka topics
  command: "{{ kafka_topics }} --list --bootstrap-server {{ kafka }}"
  environment:
    JAVA_HOME: "{{ java_home }}"
    PATH: "{{ ansible_env.PATH }}:{{ java_home }}/bin"
  register: exist_topics
  changed_when: false

- name: Create only new topics
  command:
    argv: 
      - "{{ kafka_topics }}"
      - --create
      - --bootstrap-server
      - "{{ kafka }}"
      - --replication-factor 
      - "{{ replication_factor }}"
      - --partitions 
      - "{{ partitions }}"
      - --topic
      - "{{ item }}"
  loop: "{{ topics }}"
  when: item not in exist_topics.stdout_lines
  environment:
    JAVA_HOME: "{{ java_home }}"
    PATH: "{{ ansible_env.PATH }}:{{ java_home }}/bin"

• 将Kafka安装路径、JDK路径、集群地址等配置统一抽到公共变量文件中，不要硬编码在Playbook里，提升多环境兼容性。

内容的提问来源于stack exchange，提问作者Echo_s