如何高效向Splunk端点提交10k个JSON文件？

1. 利用Splunk HEC批量事件接口合并请求 #

Splunk HTTP Event Collector（HEC）支持接收JSON数组格式的批量事件，只要单请求总大小不超过120万字符限制，就能大幅减少请求次数。你可以将多个小JSON文件合并成一个符合大小限制的批量请求，而非逐个提交。

实现脚本示例（Bash + jq） #

# 目标JSON文件目录
JSON_DIR="/path/to/your/json/files"
# HEC配置信息
HEC_URL="https://your-splunk-hec:8088/services/collector"
HEC_TOKEN="YOUR_HEC_AUTH_TOKEN"
# 单批次最大文件数（可根据单个JSON大小调整，确保总字符数<120万）
BATCH_SIZE=50

# 按批次合并文件并提交
find "$JSON_DIR" -name "*.json" -print0 | xargs -0 -n$BATCH_SIZE jq -s '.' | while read -r BATCH_JSON; do
  # 检查批次大小，避免触发Splunk限制
  if [ $(echo -n "$BATCH_JSON" | wc -c) -lt 1200000 ]; then
    curl -s -X POST \
      -H "Authorization: Splunk $HEC_TOKEN" \
      -H "Content-Type: application/json" \
      -d "$BATCH_JSON" \
      "$HEC_URL" > /dev/null
  fi
done

注：需提前安装jq工具用于JSON合并；若单个JSON文件较大，可减小BATCH_SIZE值。

2. 使用Splunk Universal Forwarder（官方推荐） #

如果长期有大量文件需要提交，直接用Splunk官方的Universal Forwarder是最高效的方案——它专门针对日志/文件批量收集优化，支持自动监控目录、批量提交、自动清理已处理文件，无需手动写curl脚本。

核心配置步骤 #

在Forwarder的$SPLUNK_HOME/etc/system/local/inputs.conf中添加监控配置：

[monitor:///path/to/your/json/files]
disabled = false
sourcetype = _json  # 自动识别JSON格式
index = your_target_index  # 指定要写入的Splunk索引
cleanup = true  # 提交成功后删除原JSON文件，避免重复收集
followTail = 0  # 监控所有新生成的文件（若只需要处理新增文件可设为1）

配置完成后重启Forwarder即可自动处理所有JSON文件。

3. 并行化curl请求（临时应急方案） #

如果必须保留curl提交方式，可以通过并行工具（如parallel或xargs）同时发送多个请求，缩短总耗时。

实现示例（GNU Parallel） #

# 控制并发数为20（根据Splunk服务器性能调整，避免过载）
find /path/to/your/json/files -name "*.json" | parallel -j20 curl -s -X POST \
  -H "Authorization: Splunk YOUR_HEC_TOKEN" \
  -H "Content-Type: application/json" \
  -d @{} \
  "https://your-splunk-hec:8088/services/collector" > /dev/null

注：并发数不宜过高，否则可能导致Splunk HEC拒绝请求或服务器负载过高。

内容的提问来源于stack exchange，提问作者ikenahim