使用Golang net/http包通过Cloudflare Access调用Splunk API报错求助

错误原因 #

• 请求格式不匹配：代码通过json.Marshal生成JSON格式的请求体，但设置的Content-Type为application/x-www-form-urlencoded，Splunk服务器无法正确解析该请求，返回了HTML格式的错误页面（而非预期的API响应），这就是响应体庞大且异常的核心原因。
• 响应解析逻辑错误：直接尝试将XML响应反序列化为单一字符串sid，但Splunk API的响应是包含层级结构的XML，无法直接映射到字符串类型，导致反序列化失败。

修复方案 #

1. 修正Content-Type：将请求头的Content-Type改为application/json，与发送的JSON数据格式一致。
2. 定义正确的XML解析结构体：根据Splunk API响应结构，定义对应的结构体来解析sid字段。
3. 添加状态码检查：先判断响应状态码是否正常，便于快速定位请求失败的原因。

修正后的代码 #

package main

import (
	"bytes"
	"encoding/json"
	"encoding/xml"
	"fmt"
	"io/ioutil"
	"net/http"
	"os"
	"time"
)

// 定义Splunk响应对应的XML结构体
type SplunkResponse struct {
	XMLName xml.Name `xml:"response"`
	Sid     string   `xml:"sid"`
}

func main() {
	client := &http.Client{
		Timeout: 30 * time.Second,
	}

	// 构造请求参数
	params := map[string]string{
		"search": "| tstats count where index=syn_epintel sourcetype=GraphSecurityAlert by sourcetype | fields count",
	}
	data, err := json.Marshal(params)
	if err != nil {
		panic(fmt.Errorf("序列化查询失败: %v", err))
	}

	// 创建POST请求
	request, err := http.NewRequest(
		"POST",
		"https://my.splunk.com/services/search/v2/jobs",
		bytes.NewBuffer(data),
	)
	if err != nil {
		panic(fmt.Errorf("创建POST请求失败: %v", err))
	}

	// 设置正确的请求头
	request.Header.Set("Content-Type", "application/json")
	request.Header.Set("CF-Access-Client-Id", os.Getenv("CF_ACCESS_CLIENT_ID"))
	request.Header.Set("CF-Access-Client-Secret", os.Getenv("CF_ACCESS_CLIENT_SECRET"))
	request.SetBasicAuth(os.Getenv("SPLUNK_USERNAME"), os.Getenv("SPLUNK_PASSWORD"))

	// 发送请求
	r, err := client.Do(request)
	if err != nil {
		panic(fmt.Errorf("执行POST请求失败: %v", err))
	}
	defer r.Body.Close() // 确保响应体被关闭

	// 检查响应状态码
	if r.StatusCode < 200 || r.StatusCode >= 300 {
		body, _ := ioutil.ReadAll(r.Body)
		panic(fmt.Errorf("请求失败，状态码: %d，响应内容: %s", r.StatusCode, string(body)))
	}

	// 解析响应体
	var splunkResp SplunkResponse
	body, err := ioutil.ReadAll(r.Body)
	if err != nil {
		panic(fmt.Errorf("读取响应体失败: %v", err))
	}

	if err := xml.Unmarshal(body, &splunkResp); err != nil {
		panic(fmt.Errorf("反序列化响应体失败: %v", err))
	}

	fmt.Printf("获取到的SID: %s\n", splunkResp.Sid)
}

内容的提问来源于stack exchange，提问作者Maryam