Jsoup请求带分页参数URL始终重定向至起始页的解决方法咨询

这种情况我之前爬某些带反爬机制的网站时也碰到过，大概率是网站的反爬策略或者你的请求参数不完整导致的，给你几个可行的排查和解决方向：

很多网站会校验User-Agent、Referer、Cookie这类请求头字段，Jsoup默认的请求头非常简单，很容易被识别为爬虫。你可以用浏览器F12开发者工具，复制正常访问分页页面时的所有请求头，然后在Jsoup里一一配置：

Document doc = Jsoup.connect("https://somewebsite.com/data?page=4")
    .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
    .referrer("https://somewebsite.com/")
    .cookie("session_id", "your_real_session_cookie") // 从浏览器的Cookie里复制有效值
    .header("Accept-Language", "zh-CN,zh;q=0.9")
    .get();

Jsoup默认会自动跟随重定向，你可以先关闭这个功能，看看网站返回的状态码和重定向目标，判断是哪种类型的重定向：

Connection.Response response = Jsoup.connect("https://somewebsite.com/data?page=4")
    .followRedirects(false)
    .execute();
// 打印状态码和重定向地址
System.out.println("状态码：" + response.statusCode());
System.out.println("重定向目标：" + response.header("Location"));

如果发现是网站主动把非page=1的请求重定向，那你需要模拟真实用户的浏览流程：先访问首页建立会话，再请求分页页面，保持Cookie一致。

有些网站要求必须先访问首页获取会话Cookie或CSRF Token，才能正常请求分页数据。你可以先请求首页保存Cookie，再用这个Cookie请求分页：

// 第一步：访问首页，获取会话Cookie
Connection.Response homeResp = Jsoup.connect("https://somewebsite.com/")
    .userAgent("your_user_agent")
    .execute();
// 第二步：用获取到的Cookie请求分页页面
Document pageDoc = Jsoup.connect("https://somewebsite.com/data?page=4")
    .userAgent("your_user_agent")
    .cookies(homeResp.cookies()) // 复用首页的Cookie
    .get();

很多网站的分页数据并不是通过URL的page参数直接返回的，而是通过AJAX请求加载的JSON数据。这时候你需要：

• 打开浏览器开发者工具的「网络」标签，切换到「XHR」分类，找到加载分页数据的真实API接口
• 直接请求这个API接口，而不是原来的页面URL。比如真实接口可能是https://somewebsite.com/api/getData?page=4，返回JSON格式数据，你可以用Jsoup获取响应体后解析JSON：

Connection.Response apiResp = Jsoup.connect("https://somewebsite.com/api/getData?page=4")
    .userAgent("your_user_agent")
    .cookies(homeResp.cookies())
    .ignoreContentType(true) // 忽略内容类型，避免Jsoup尝试解析HTML
    .execute();
String jsonData = apiResp.body();
// 接下来用JSON解析库（如Gson、Jackson）处理jsonData

如果网站检测到请求频率过高，可能会把你定向到固定页面。这时候可以：

• 增加请求间隔，比如每次请求后调用Thread.sleep(1500)模拟人类浏览速度
• 使用代理IP，每次请求切换不同的IP，避免被网站封禁

内容的提问来源于stack exchange，提问作者Yugansh Tyagi