Instagram添加?__a=1爬取媒体返回1357004错误的原因及解决方法

请求https://www.instagram.com/p/CP-Kws6FoRS/?__a=1地址尝试获取帖子数据时，会返回如下错误响应：

{
    "__ar": 1,
    "error": 1357004,
    "errorSummary": "Sorry, something went wrong",
    "errorDescription": "Please try closing and re-opening your browser window.",
    "payload": null,
    "hsrp": {
        "hblp": {
            "consistency": {
                "rev": 1005622141
            }
        }
    },
    "lid": "7104767527440109183"
}

• ?__a=1是Instagram早期遗留的无鉴权公开数据接口，平台从2020年开始逐步收紧反爬规则，目前该接口已经被正式废弃，返回错误属于官方拦截行为，不是临时服务故障。
• 错误码1357004对应爬虫流量拦截规则：平台会对所有请求校验会话状态、请求头特征、IP属性，未携带有效登录凭证的裸请求会被直接标记为爬虫，返回通用错误响应，不会下发真实帖子数据。
• 即使携带登录Cookie，如果请求频率过高、使用云服务厂商的机房IP、请求头缺失网页端固定校验字段（比如x-ig-app-id、x-csrftoken），同样会触发这个拦截。

• 先在正常桌面浏览器中登录个人Instagram账号，打开目标帖子页面，从开发者工具-网络面板中复制该域名下的完整请求Cookie，必须包含sessionid、csrftoken两个核心字段。
• 请求头完全模拟真实浏览器特征，至少要配置以下字段：
  • User-Agent和当前登录浏览器的UA完全一致
  • x-ig-app-id固定传值936619743392459（Instagram网页端官方应用ID）
  • Referer设置为不带?__a=1参数的帖子原始访问地址
• 控制请求频率，单IP每分钟请求数不要超过5次，优先使用住宅代理IP，不要直接用云厂商的机房IP发起请求。
  *注意：目前已有大量实测反馈，即使携带完整合法凭证，?__a=1接口也会随机返回拦截响应，该方案随时可能完全失效。

• 页面内嵌JSON提取：直接发起GET请求访问不带任何参数的帖子原始HTML页面，在返回的源码中搜索window.__INITIAL_STATE__字段，该字段存储了页面加载所需的全量结构化数据，包含所有分辨率的图片、视频直链地址。该方式不需要调用额外接口，只要携带普通浏览器UA就能正常返回内容，被反爬拦截的概率远低于废弃的?__a=1接口。解析时将对应字段的JSON字符串做转义处理后，顺着shortcode_media -> edge_sidecar_to_children / display_resources / video_resources路径遍历，即可拿到全部媒体资源的直链。
• 官方API调用：如果是合规商用场景，可以申请Meta开发者平台资质，通过官方Instagram Graph API获取媒体资源，该方式为平台官方允许的调用路径，不会触发反爬拦截，但需要完成账号资质审核，存在调用配额限制。
• 浏览器自动化提取：使用Playwright、Puppeteer等工具启动真实的浏览器内核加载帖子页面，等页面完全渲染后，直接从DOM结构中提取img、video标签的src属性即可。该方式的行为特征和普通用户访问完全一致，反爬拦截概率最低，缺点是资源消耗比普通HTTP请求高，不适合超大规模采集。

内容的提问来源于stack exchange，提问作者user3661581