VBA XMLHTTP分页问题：无法获取搜索结果第二页及后续内容

嘿，我太懂你这种从IE切换到XMLHTTP的纠结了——性能提升是真的，但各种隐藏的请求细节坑也不少。结合我处理过的类似ASP.NET网站分页问题，给你几个针对性的排查方向和解决思路：

1. 先抓包分析浏览器的分页请求细节 #

很多网站的分页不是简单改URL里的数字，尤其是这种ASP.NET搭建的服务，大概率是通过POST请求提交分页参数。你可以这么做：

• 打开浏览器开发者工具（F12）切到「网络」标签，清空现有请求后点击第二页，观察请求的核心信息：
  • 请求方法是GET还是POST？
  • Form Data里有没有page、currentPage、__EVENTTARGET这类分页触发参数？
  • 请求头里有没有Referer、Cookie这类关键标识？
• 你的XMLHTTP请求必须完全复刻这些参数和头信息，服务器才会返回正确的分页内容。

2. 确保会话Cookie持续传递 #

登录成功后服务器会给你一个会话ID存在Cookie里，后续所有请求必须携带这个Cookie才能保持登录状态：

• 登录请求完成后，用objXMLHTTP.getAllResponseHeaders()提取返回的Set-Cookie字段，把里面的会话信息（比如ASP.NET_SessionId=xxx）保存下来。
• 在分页请求时，通过objXMLHTTP.setRequestHeader "Cookie", "这里填保存的完整Cookie内容"手动传递，避免XMLHTTP默认Cookie池失效的问题。

3. 补全必要的请求头 #

XMLHTTP默认的请求头和浏览器差异很大，服务器可能会拒绝返回内容：

• 必须带上User-Agent模拟浏览器，比如：

  objXMLHTTP.setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
  

• 加上Referer字段，告诉服务器你是从第一页跳转过来的，值就是第一页的URL。
• 如果是AJAX分页，可能还要加X-Requested-With: XMLHttpRequest头。

4. 处理ASP.NET的隐藏验证字段 #

这类网站的表单里通常有__VIEWSTATE、__VIEWSTATEGENERATOR、__EVENTVALIDATION这些隐藏字段，每次请求后它们的值会更新，分页请求必须带上最新的值：

• 解析第一页的HTML，提取这些字段：

  Dim htmlDoc As MSHTML.HTMLDocument
  Set htmlDoc = New MSHTML.HTMLDocument
  htmlDoc.body.innerHTML = objXMLHTTP.responseText
  
  Dim viewState As String, eventVal As String
  viewState = htmlDoc.querySelector("#__VIEWSTATE").Value
  eventVal = htmlDoc.querySelector("#__EVENTVALIDATION").Value
  

• 把这些值和分页参数一起放到POST的Form Data里提交。

5. 确认分页请求的URL是否正确 #

有些网站的分页请求是调用专门的接口，而不是用列表页的URL。抓包时注意看请求的完整URL，别在错误的地址上提交参数。

总的来说，核心就是让XMLHTTP的请求和浏览器完全一致——从请求头到表单参数，再到会话标识，一丝不差的话，分页数据肯定能拿到。

内容的提问来源于stack exchange，提问作者pczg