Shell脚本连接Splunk获取容量汇总结果的技术求助

1. 确定Splunk实例的IP/域名 #

你平时用来查看Splunk结果的网页地址，就是Splunk Web UI的访问地址——比如浏览器地址栏显示https://xxx.xxx.xxx.xxx:8000或者https://splunk.yourcompany.com:8000，其中的xxx.xxx.xxx.xxx或splunk.yourcompany.com就是Splunk实例的IP/域名。

Splunk的API默认端口是8089，且通常和Web UI部署在同一服务器上，所以把脚本里的https://192.168.x.x:8089替换成这个IP/域名加8089端口即可。

2. 修复现有脚本的语法错误 #

你的搜索语句末尾少了一个闭合双引号，正确写法应为：

search='search index="*big search text*"'

3. 完善脚本以获取汇总数值 #

Splunk API提交搜索后不会立即返回结果，需要等待任务完成再拉取数据。以下是完整的可运行脚本示例，包含任务提交、状态等待、结果提取的完整逻辑：

#!/bin/bash
user="your_username"
pass="your_password"
# 替换为你的Splunk实例IP/域名
splunk_host="xxx.xxx.xxx.xxx"
splunk_port="8089"

# 编写带汇总统计的搜索语句（根据你的需求调整）
# 示例：统计过去24小时目标索引的总容量和事件数
search='search index="your_target_index" earliest=-24h latest=now | stats sum(bytes) as total_capacity, count as event_count'

# 提交搜索任务并获取任务ID
job_id=$(curl -s -u "$user:$pass" -k "https://$splunk_host:$splunk_port/services/search/jobs" -d search="$search" | grep -oP 'sid="\K[^"]+')

if [ -z "$job_id" ]; then
    echo "提交搜索失败，请检查账号、密码或Splunk地址是否正确"
    exit 1
fi

# 等待搜索任务完成（每隔5秒检查一次，最多等待300秒）
wait_time=0
max_wait=300
while true; do
    job_status=$(curl -s -u "$user:$pass" -k "https://$splunk_host:$splunk_port/services/search/jobs/$job_id" | grep -oP '<s:key name="dispatchState">\K[^<]+')
    if [ "$job_status" = "DONE" ]; then
        break
    elif [ "$wait_time" -ge "$max_wait" ]; then
        echo "搜索任务超时未完成"
        exit 1
    fi
    sleep 5
    wait_time=$((wait_time + 5))
done

# 拉取CSV格式的结果（方便提取数值）
curl -s -u "$user:$pass" -k "https://$splunk_host:$splunk_port/services/search/jobs/$job_id/results?output_mode=csv"

# 可选：直接提取单个数值，比如提取total_capacity
# curl -s -u "$user:$pass" -k "https://$splunk_host:$splunk_port/services/search/jobs/$job_id/results?output_mode=csv" | awk -F ',' 'NR==2 {print $1}'

4. 关键注意事项 #

• 确保你的Splunk账号拥有API搜索权限（需要search和rest_api相关权限）
• -k参数是跳过证书验证，仅适合测试环境；正式环境请去掉该参数并配置正确的SSL证书
• 搜索语句里的index不要用*（会搜索所有索引，效率极低），替换为你实际要统计的索引名称
• 汇总统计部分可根据需求调整，比如用avg、max等命令，或统计不同维度的容量数据

内容的提问来源于stack exchange，提问作者SugusTHC