Casper/Phantomjs无法抓取Instagram最高分辨率图片问题求助

我之前做Instagram爬虫的时候也碰到过一模一样的问题——明明srcset里有1080x1080的资源，但Casper/PhantomJS就是抓不到。折腾了好一阵，总结出几个亲测有效的办法，分享给你：

1. 先把视口设成足够大的尺寸 #

Instagram会根据浏览器视口大小返回不同分辨率的图片资源，如果你的Casper默认视口太小，页面渲染时可能根本不会加载1080p的图。直接在脚本开头设置大视口：

casper.viewport(1920, 1080); // 用1080p以上的视口，确保高分辨率资源被渲染

2. 手动解析srcset文本，别依赖DOM的src属性 #

有时候Casper获取到的src属性只是默认的低分辨率图，这时候得直接提取srcset的字符串内容，自己拆分筛选：

casper.then(function() {
  // 注意：Instagram的图片类名可能会更新，要确认当前的元素选择器
  var srcset = this.getElementAttribute('img[class="_aagv"]', 'srcset');
  if (srcset) {
    // 把srcset拆分成单个资源条目
    var imageItems = srcset.split(',');
    // 筛选包含1080x1080的条目
    var hdImage = imageItems.find(function(item) {
      return item.trim().includes('1080x1080');
    });
    if (hdImage) {
      // 提取图片URL（拆分空格，取第一个部分）
      var hdUrl = hdImage.trim().split(' ')[0];
      this.echo('成功获取1080p图片：' + hdUrl);
    } else {
      this.echo('未找到1080p分辨率的图片资源');
    }
  }
});

提示：如果_aagv这个类名失效了，用浏览器开发者工具重新定位图片元素的类名或者属性。

3. 确保页面完全加载再抓取 #

Instagram是动态渲染的单页应用，图片资源可能会延迟加载。别着急马上抓取，用waitForSelector或者wait给页面足够的渲染时间：

// 等待图片元素出现后再处理
casper.waitForSelector('img[class="_aagv"]', function() {
  // 这里执行解析srcset的代码
}, function() {
  this.echo('等待图片元素加载超时');
}, 10000); // 设置10秒超时时间，根据网络情况调整

// 或者简单粗暴一点，给页面3秒加载时间
casper.wait(3000);

4. 模拟现代浏览器的User-Agent #

Instagram可能会根据User-Agent识别爬虫，返回简化版内容。设置一个最新的桌面浏览器UA：

casper.userAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36');

额外提醒 #

• Instagram的DOM结构和类名经常更新，要定期检查你的选择器是否还能用；
• 频繁爬取容易被限制IP，建议给请求加上间隔，必要时使用代理；
• 遵守Instagram的服务条款，不要用于违规用途。

内容的提问来源于stack exchange，提问作者Devildude4427