如何用KSQL与Bash创建Kafka主题数组并解决脚本报错

我需要在脚本开头删除指定Kafka主题，但得先确认主题存在以避免报错。思路是先获取所有主题的数组，再遍历检查目标主题是否存在。但运行以下脚本时，出现错误unset : [0-1]: bad array subscript：

#!/bin/bash

KSQL_SERVER_HOST="<KSQL_SERVER_HOST>"
KSQL_SERVER_PORT="<KSQL_SERVER_PORT>"

# Send a GET request to the KSQL REST API to list topics
response=$(curl -s -X GET http://"$KSQL_SERVER_HOST":"$KSQL_SERVER_PORT"/ksql/topics)

# Extract topics from the response
topics=$(echo "$response" | grep -oP '^\s*".*",' | tr -d '",')

# Remove the first and last elements (which are not topics)
topics_array=($topics)
unset topics_array[0]
unset topics_array[${#topics_array[@]}-1]

# Print the array of Kafka topics
echo "Kafka Topics:"
for topic in "${topics_array[@]}"; do
  echo "$topic"
done

错误原因 #

这个错误触发的原因是：当topics_array的长度小于2时（比如API返回为空，或者提取到的主题数量不足2），${#topics_array[@]}-1会得到负数或无效下标（例如数组为空时，长度为0，计算后得到-1，这在Bash数组中是非法下标），导致unset命令执行失败。

修复后的完整脚本 #

用jq解析JSON（KSQL API返回的是标准JSON，用文本处理工具解析容易出错），同时完善存在性检查和删除逻辑，脚本如下：

#!/bin/bash

KSQL_SERVER_HOST="<KSQL_SERVER_HOST>"
KSQL_SERVER_PORT="<KSQL_SERVER_PORT>"
# 定义要删除的目标主题
TARGET_TOPIC="your-target-topic"

# 通过KSQL API获取所有主题，用jq解析提取主题名
topics_array=($(curl -s -X GET http://"$KSQL_SERVER_HOST":"$KSQL_SERVER_PORT"/ksql/topics | jq -r '.[].name'))

# 检查是否获取到主题
if [ ${#topics_array[@]} -eq 0 ]; then
    echo "未获取到任何Kafka主题"
    exit 0
fi

# 检查目标主题是否存在
topic_exists=false
for topic in "${topics_array[@]}"; do
    if [ "$topic" == "$TARGET_TOPIC" ]; then
        topic_exists=true
        break
    fi
done

# 执行删除或提示操作
if $topic_exists; then
    echo "开始删除主题: $TARGET_TOPIC"
    # 替换为实际的删除命令，示例如下：
    # 使用kafka-topics.sh工具删除（需配置Kafka环境变量或指定完整路径）
    # kafka-topics.sh --bootstrap-server <BROKER_ADDRESS> --delete --topic "$TARGET_TOPIC"
    # 或使用KSQL API删除（需确保KSQL配置允许删除主题）
    # curl -X POST http://"$KSQL_SERVER_HOST":"$KSQL_SERVER_PORT"/ksql -H "Content-Type: application/vnd.ksql.v1+json" -d '{"ksql": "DROP TOPIC '$TARGET_TOPIC';"}'
else
    echo "主题 $TARGET_TOPIC 不存在，无需执行删除操作"
fi

关键改进点 #

• JSON解析更可靠：用jq直接解析KSQL API返回的JSON数组，提取主题名name字段，避免了grep/tr等工具处理文本时的格式错误。
• 增加边界检查：先判断数组是否为空，避免后续逻辑出现异常。
• 明确目标主题：单独定义TARGET_TOPIC变量，便于修改和维护。
• 灵活的删除方式：提供了kafka-topics.sh和KSQL API两种删除主题的示例，可根据环境选择。

内容的提问来源于stack exchange，提问作者goober