Go语言如何读取GitLab接口JSON并提取ID拼接URL批量拉取数据

你只需要新增结构体定义、JSON反序列化、批量请求三个步骤即可，完整可运行代码如下：

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

// 定义GitLab群组返回的结构体，只需要提取ID字段就可以只声明ID，其他字段可自动忽略
type Group struct {
	ID int `json:"id"`
}

func main() {
	// 第一步：拉取所有群组列表
	url := "https://gitlab.com/api/v4/groups/"
	token := "" // 替换为你自己的GitLab Token
	bearer := "Bearer " + token

	req, err := http.NewRequest("GET", url, bytes.NewBuffer(nil))
	if err != nil {
		panic(err)
	}
	req.Header.Set("Authorization", bearer)
	req.Header.Add("Accept", "application/json")

	client := &http.Client{}

	client.CheckRedirect = func(req *http.Request, via []*http.Request) error {
		for key, val := range via[0].Header {
			req.Header[key] = val
		}
		return nil
	}
	resp, err := client.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close() // 关闭响应体避免内存泄漏
	data, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}

	// 第二步：反序列化JSON提取群组ID
	var groups []Group
	err = json.Unmarshal(data, &groups)
	if err != nil {
		panic(err)
	}

	// 第三步：遍历ID批量拉取公开项目
	for _, group := range groups {
		// 拼接项目请求地址
		projectURL := fmt.Sprintf("https://gitlab.com/api/v4/groups/%d/projects?visibility=Public", group.ID)
		fmt.Printf("正在拉取群组ID %d 的公开项目，请求地址：%s\n", group.ID, projectURL)

		// 发起项目请求
		projReq, err := http.NewRequest("GET", projectURL, bytes.NewBuffer(nil))
		if err != nil {
			fmt.Printf("创建群组ID %d 的请求失败：%v\n", group.ID, err)
			continue
		}
		projReq.Header.Set("Authorization", bearer)
		projReq.Header.Add("Accept", "application/json")

		projResp, err := client.Do(projReq)
		if err != nil {
			fmt.Printf("拉取群组ID %d 的项目失败：%v\n", group.ID, err)
			continue
		}
		defer projResp.Body.Close()

		projData, err := ioutil.ReadAll(projResp.Body)
		if err != nil {
			fmt.Printf("读取群组ID %d 的项目响应失败：%v\n", group.ID, err)
			continue
		}

		// 格式化输出项目数据
		var dst bytes.Buffer
		err = json.Indent(&dst, projData, "", "  ")
		if err != nil {
			fmt.Printf("格式化群组ID %d 的项目数据失败：%v\n", group.ID, err)
			continue
		}
		fmt.Printf("群组ID %d 的公开项目数据：\n%s\n", group.ID, dst.String())
	}
}

• 结构体定义只需要声明你需要的id字段即可，json标签要和返回的JSON字段名完全匹配，其他不需要的字段Go的反序列化逻辑会自动忽略，不需要全部定义
• 注意每次请求结束后都要调用defer resp.Body.Close()关闭响应体，避免出现内存泄漏
• 新增了错误判断逻辑，单群组请求失败不会中断整个批量拉取流程
• 如果需要更高的拉取效率，可以把循环请求改成协程并发请求，需要注意控制并发量避免触发GitLab的API限流

内容的提问来源于stack exchange，提问作者Rahul