如何使用HttpWebRequest获取重定向URL的目标JSON数据

问题出在微博接口会校验请求的请求头信息，你的代码只创建了基础请求，没有模拟浏览器的请求特征，被服务器判定为非合法浏览器请求，所以返回了带location.replace的跳转页面。

你需要给请求添加浏览器常用的请求头，让服务器认为这是来自浏览器的请求，具体修改如下：

修改后的代码 #

var url = "https://weibo.com/ajax/profile/getImageWall?uid=6596153448&sinceid=0&has_album=true";
var myHttpWebRequest = (HttpWebRequest)WebRequest.Create(url);
myHttpWebRequest.AllowAutoRedirect = true;

// 添加模拟浏览器的请求头
myHttpWebRequest.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36";
myHttpWebRequest.Referer = "https://weibo.com/u/6596153448";
myHttpWebRequest.Accept = "application/json, text/plain, */*";
// 如果接口需要登录权限，把浏览器中微博的Cookie复制到这里
// myHttpWebRequest.Headers.Add(HttpRequestHeader.Cookie, "你的微博Cookie内容");

using (HttpWebResponse lxResponse = (HttpWebResponse)myHttpWebRequest.GetResponse())
{
    var stream = lxResponse.GetResponseStream();
    StreamReader reader = new StreamReader(stream);
    
    string text = reader.ReadToEnd();
    // 此时text应该就是目标JSON数据
}

关键说明 #

• User-Agent：告诉服务器当前请求来自Chrome浏览器，这是最基础的反爬校验项
• Referer：表明请求是从该用户的微博主页发起的，符合正常浏览器访问逻辑
• Accept：明确告诉服务器我们期望接收JSON格式的响应
• Cookie：如果该接口需要登录才能访问（比如查看非公开用户的图片墙），需要从Chrome浏览器的开发者工具中复制微博的Cookie，添加到请求头里——浏览器能拿到数据正是因为保存了登录状态的Cookie

内容的提问来源于stack exchange，提问作者Vincent