使用XMLHTTP/WinHTTP实现级联表单数据抓取（替代IE对象）

嘿，我来帮你一步步拆解这些问题，顺便把那几个Stack Overflow帖子的核心点给你讲明白～

1. 应从哪些方向入手解决该问题？ #

给你几个核心排查方向，按优先级来：

• 抓包对比请求差异：用Chrome开发者工具（F12）或者Fiddler，全程记录你用IE操作时的所有请求（包括登录、选国家、选车型每一步），然后对比你用XMLHTTP发送的请求，重点看：Cookie是否完整、请求头（User-Agent、Referer）是否一致、表单参数有没有遗漏（尤其是隐藏字段）
• 补全Cookie的完整度：你之前只拿了一个Set-Cookie值，但很多网站会返回多个Cookie（比如会话Cookie、CSRF token Cookie等），要把所有返回的Cookie都拼接起来放到Cookie请求头里，比如用Split拆分xml.getResponseHeader("Set-Cookie")里的多个Cookie，用分号分隔后再设置
• 严格模拟请求顺序：不能跳过中间的表单步骤！网站每一步表单提交后，服务器会在你的会话里存下选择的状态，还可能生成新的验证字段（比如__EVENTVALIDATION），必须按“登录→选国家→选车型→提交最后一步”的顺序发送请求，每一步都要带上上一步返回的Cookie和新的表单参数
• 校验请求头的一致性：XMLHTTP默认的User-Agent和IE不一样，要改成和IE完全相同的（比如IE11的是Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko）；另外Referer字段必须正确，比如选国家的请求，Referer要填登录后的页面URL，很多网站会校验这个防止跨站请求

2. 网站的frames是否会造成影响？同一URL为何能显示不同页面？ #

• Frames的影响：Frames本身不会阻碍XMLHTTP请求，但你要注意：如果表单是在某个子frame里，那实际提交表单的目标URL是这个frame的src地址，而不是主页面的URL！你之前可能一直对着主URL发请求，自然拿不到正确的响应，先去开发者工具里看一下表单所在的frame的真实地址
• 同一URL显示不同页面的原因：核心是服务器端的会话状态。你登录后，服务器会给你分配一个Session ID（存在Cookie里），每提交一步表单，服务器就把你选的值存在这个Session里。当你再次访问同一个URL时，服务器通过Cookie里的Session ID读取你的状态，返回对应阶段的页面内容；少数情况是前端用JS做路由切换，但数据还是要靠后端接口，抓包能看到实际的请求

3. 之前填写的表单值存储在何处？ #

主要分两个地方：

• 服务器端（核心）：存在和你Cookie绑定的Session里。你每提交一次表单，服务器就把你选择的国家、车型等值存到这个Session中，后续请求只要带上正确的Cookie，服务器就能读取这些值，返回对应的下一步表单
• 前端辅助存储：比如页面里的隐藏input字段（像ASP.NET常用的__VIEWSTATE、__EVENTVALIDATION），或者浏览器的localStorage/sessionStorage，但这些只是用来传递验证信息的，真正的状态还是存在服务器端的Session里，你后续请求必须带上这些隐藏字段，否则服务器会认为请求无效

4. 三个Stack Overflow帖子核心解读 #

第一个帖子：VBA Macros MSXML2.XMLHTTP Login #

这个帖子里的用户和你一样，登录后总是跳回登录页，核心解决思路是：

• 不能直接POST账号密码，必须先发送GET请求到登录页，获取页面里的隐藏验证字段（比如__VIEWSTATE），很多网站会在登录页生成这些字段，缺少的话会被服务器拒绝
• 要保存登录页返回的所有Cookie，而不是只拿一个Set-Cookie值，比如ASP.NET_SessionId这类会话Cookie是必须的
• 要设置正确的Content-Type请求头，比如application/x-www-form-urlencoded，确保服务器能正确解析表单数据

第二个帖子：Login into website using MSXML2.XMLHTTP instead of InternetExplorer.Application with VBA #

这个帖子的重点是完全模拟浏览器的请求逻辑：

• 高赞回答给出了完整流程：先GET登录页获取Cookie和隐藏字段，再POST登录请求（带上账号密码、隐藏字段和Cookie），之后所有请求都要持续携带这个Cookie
• 提到了如果网站有Anti-CSRF token，必须从登录页的HTML里提取这个token，放到POST请求的参数里，否则登录会失败
• 还要注意处理重定向（比如302状态码），XMLHTTP默认会自动跟随，但要确保Cookie在重定向后仍然被正确携带

第三个帖子：VBA XMLHTTP Pagination Issue - Can't get past the second page of search results #

这个帖子的问题是分页时总是返回第一页内容，核心原因和解决方案：

• 用户一开始只在第一次请求时带了Cookie，后续分页请求没带，导致服务器认为是新会话，返回初始页面
• 解决方案是：所有请求都要携带同一个Cookie容器，并且每一页的分页参数（比如pageNumber、__VIEWSTATE）可能会更新，必须从当前页的HTML里提取最新的参数，再发送下一页的请求
• 有些网站的分页是用POST请求，而不是GET，不能直接改URL里的page参数，要POST对应的表单数据

内容的提问来源于stack exchange，提问作者a1a1a1a1a1