Spring调用GitHub标星仓库接口：大量标星用户请求异常

我之前做类似功能时也踩过这个坑！问题根源大概率是GitHub API的分页机制你没在Spring代码里处理——毕竟curl或者一些REST客户端会自动帮你遍历所有分页，但Spring的RestTemplate/WebClient默认不会干这个事儿。

为什么会出现这个差异？ #

GitHub的GET /users/:username/starred接口默认每页只返回30条仓库数据。当用户标星的仓库超过30个时，响应的Link请求头里会包含下一页、上一页的跳转链接。你用curl或者REST客户端时，工具可能自动帮你遍历了所有分页并合并结果；但Spring默认只会发起一次请求，拿到第一页数据就完事了，要是你没处理后续分页，自然就会出现“标星多的用户请求异常”（其实是只拿到了部分数据，或者你代码里没处理多页导致逻辑报错）。

解决方案：在Spring里手动处理分页 #

下面分两种常用的HTTP客户端来给你写示例代码：

1. 用RestTemplate处理分页

import org.springframework.http.HttpHeaders;
import org.springframework.http.HttpMethod;
import org.springframework.http.ResponseEntity;
import org.springframework.web.client.RestTemplate;

import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class GitHubStarredFetcher {
    private static final Pattern NEXT_PAGE_PATTERN = Pattern.compile("<([^>]+)>; rel=\"next\"");
    private final RestTemplate restTemplate;

    public GitHubStarredFetcher(RestTemplate restTemplate) {
        this.restTemplate = restTemplate;
    }

    public List<Object> fetchAllStarredRepos(String username) {
        List<Object> allRepos = new ArrayList<>();
        String currentUrl = "https://api.github.com/users/" + username + "/starred";

        while (currentUrl != null) {
            ResponseEntity<Object[]> response = restTemplate.exchange(
                    currentUrl,
                    HttpMethod.GET,
                    null,
                    Object[].class
            );

            // 把当前页的仓库加到结果集合
            for (Object repo : response.getBody()) {
                allRepos.add(repo);
            }

            // 解析Link头，获取下一页的请求地址
            currentUrl = extractNextPageUrl(response.getHeaders());
        }

        return allRepos;
    }

    private String extractNextPageUrl(HttpHeaders headers) {
        String linkHeader = headers.getFirst(HttpHeaders.LINK);
        if (linkHeader == null) {
            return null;
        }

        Matcher matcher = NEXT_PAGE_PATTERN.matcher(linkHeader);
        return matcher.find() ? matcher.group(1) : null;
    }
}

2. 用WebClient（反应式）处理分页

如果你用的是Spring WebFlux，WebClient处理分页会更优雅：

import org.springframework.http.HttpHeaders;
import org.springframework.web.reactive.function.client.WebClient;
import reactor.core.publisher.Flux;
import reactor.core.publisher.Mono;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class ReactiveGitHubStarredFetcher {
    private static final Pattern NEXT_PAGE_PATTERN = Pattern.compile("<([^>]+)>; rel=\"next\"");
    private final WebClient webClient;

    public ReactiveGitHubStarredFetcher(WebClient webClient) {
        this.webClient = webClient;
    }

    public Flux<Object> fetchAllStarredRepos(String username) {
        return fetchPage("https://api.github.com/users/" + username + "/starred")
                .expand(response -> {
                    String nextUrl = extractNextPageUrl(response.headers().asHttpHeaders());
                    return nextUrl != null ? fetchPage(nextUrl) : Mono.empty();
                })
                .flatMap(response -> response.bodyToFlux(Object.class));
    }

    private Mono<WebClient.ResponseSpec> fetchPage(String url) {
        return webClient.get()
                .uri(url)
                .exchange();
    }

    private String extractNextPageUrl(HttpHeaders headers) {
        String linkHeader = headers.getFirst(HttpHeaders.LINK);
        if (linkHeader == null) {
            return null;
        }

        Matcher matcher = NEXT_PAGE_PATTERN.matcher(linkHeader);
        return matcher.find() ? matcher.group(1) : null;
    }
}

额外注意事项 #

• GitHub API速率限制：如果请求太频繁，可能会触发403限流。建议在请求头里加上User-Agent（GitHub要求必须设置），并且可以用Spring Retry来处理限流后的重试逻辑。
• 数据模型优化：上面代码用Object是为了简化，实际项目里你应该定义对应的Repo实体类来接收数据，比如包含name、html_url等字段的POJO，这样处理数据会更方便。

内容的提问来源于stack exchange，提问作者dasunpubudumal