Go语言网络请求XML解析失败，本地赋值可运行的原因排查

这种“直接请求解析失败，复制内容到变量却正常运行”的情况，十有八九是请求响应的处理环节出了岔子，和你的XML解析逻辑本身关系不大。结合你的代码和SEC官网的响应特性，我整理了几个最可能的原因及对应的修复方法：

1. 错误处理全忽略，隐藏了真实问题 #

你的代码里把所有错误都用_吞掉了——http.Get可能请求超时、ioutil.ReadAll可能读取到一半就断了，这些错误会让你完全摸不清问题出在哪。第一步必须补上错误处理：

resp, err := http.Get("https://www.sec.gov/Archives/edgar/xbrlrss.all.xml")
if err != nil {
    fmt.Printf("请求SEC官网失败: %v\n", err)
    return
}
defer resp.Body.Close() // 必须关闭响应体，避免资源泄漏，同时保证读取完整

bytes, err := ioutil.ReadAll(resp.Body)
if err != nil {
    fmt.Printf("读取响应内容失败: %v\n", err)
    return
}

加上这些后，你就能直接看到是请求阶段还是读取阶段出了问题，不用瞎猜。

2. 响应内容带UTF-8 BOM，解析器不识别 #

有些网站返回的XML会带UTF-8 BOM（开头的\xef\xbb\xbf字节），当你把内容复制到变量时，编辑器通常会自动去掉这个标记，但直接从响应体读取时会保留它。而Go的encoding/xml包默认不处理BOM，会导致解析失败。

你可以在解析前手动去掉BOM：

// 检查并移除UTF-8 BOM
if len(bytes) >= 3 && bytes[0] == 0xef && bytes[1] == 0xbb && bytes[2] == 0xbf {
    bytes = bytes[3:]
}

var s Sitemapindex
err = xml.Unmarshal(bytes, &s)
if err != nil {
    fmt.Printf("解析XML失败: %v\n", err)
    return
}

3. 响应启用了gzip压缩，读取到的是乱码 #

SEC官网的响应大概率启用了gzip压缩，但http.Get默认不会自动解压。你读取到的其实是压缩后的二进制数据，自然解析失败；而你复制内容时，浏览器已经帮你解压过了，所以没问题。

可以通过检查响应头来处理压缩：

import "compress/gzip"

// 获取resp之后先判断是否压缩
if resp.Header.Get("Content-Encoding") == "gzip" {
    gzipReader, err := gzip.NewReader(resp.Body)
    if err != nil {
        fmt.Printf("创建gzip解压 reader失败: %v\n", err)
        return
    }
    defer gzipReader.Close()
    bytes, err = ioutil.ReadAll(gzipReader)
} else {
    bytes, err = ioutil.ReadAll(resp.Body)
}

快速验证技巧 #

你可以把读取到的bytes写入本地文件，对比和你复制的内容是否一致：

_ = ioutil.WriteFile("sec_response.xml", bytes, 0644)

打开这个文件，如果开头有奇怪的乱码，就是BOM或压缩的问题；如果内容不完整，就是读取环节的问题。

完整修复后的代码示例 #

package main

import (
    "compress/gzip"
    "encoding/xml"
    "fmt"
    "io/ioutil"
    "net/http"
)

type Sitemapindex struct {
    Locations []Location `xml:"channel>item"`
}

type Location struct {
    Loc string `xml:"title"`
}

func (e Location) String() string {
    return fmt.Sprintf(e.Loc)
}

func main() {
    resp, err := http.Get("https://www.sec.gov/Archives/edgar/xbrlrss.all.xml")
    if err != nil {
        fmt.Printf("请求SEC官网失败: %v\n", err)
        return
    }
    defer resp.Body.Close()

    var bytes []byte
    // 处理gzip压缩
    if resp.Header.Get("Content-Encoding") == "gzip" {
        gzipReader, err := gzip.NewReader(resp.Body)
        if err != nil {
            fmt.Printf("创建gzip解压 reader失败: %v\n", err)
            return
        }
        defer gzipReader.Close()
        bytes, err = ioutil.ReadAll(gzipReader)
    } else {
        bytes, err = ioutil.ReadAll(resp.Body)
    }

    if err != nil {
        fmt.Printf("读取响应内容失败: %v\n", err)
        return
    }

    // 移除UTF-8 BOM
    if len(bytes) >= 3 && bytes[0] == 0xef && bytes[1] == 0xbb && bytes[2] == 0xbf {
        bytes = bytes[3:]
    }

    var s Sitemapindex
    err = xml.Unmarshal(bytes, &s)
    if err != nil {
        fmt.Printf("解析XML失败: %v\n", err)
        return
    }

    // 打印测试
    for _, loc := range s.Locations {
        fmt.Println(loc)
    }
}

内容的提问来源于stack exchange，提问作者user9678204