Python校验Instagram页面存在性遇登录重定向问题求助

问题根因 #

脚本第二次运行就失效的核心逻辑，是Instagram对无有效登录态、高频发起的匿名请求，会直接触发反爬重定向规则——把所有指向用户主页的请求，统一跳转至登录引导页。这种场景下，既拿不到目标用户主页的真实内容，也不会返回可判定的404状态码，不管是靠状态码判断、还是靠关键词判断，结果都会完全失真。

无Selenium的登录态鉴权实现方案 #

全程不需要模拟登录流程、不需要Selenium，直接复用已有的浏览器登录态即可稳定运行，具体步骤如下：

• 第一步：手动获取有效登录Cookie
  用测试小号在浏览器正常登录Instagram账号，打开开发者工具的网络面板，复制任意一个Instagram站内请求请求头里的完整Cookie字符串。不建议用脚本模拟登录流程——Instagram的登录接口带有严格的签名校验，纯脚本构造的登录请求很容易触发账号风控，反而不如直接复用浏览器已生成的登录Cookie稳定。
• 第二步：全局复用单例Session
  不要像原脚本那样，每遍历一个URL就新建一次HTMLSession实例，这种写法既会造成不必要的连接资源浪费，也容易因为频繁新建TCP连接被反爬规则识别为爬虫。正确做法是在循环外仅初始化一次Session，将提前获取的Cookie、匹配真实浏览器版本的User-Agent写入Session的全局请求头，所有请求复用同一个连接池。
  核心初始化代码片段：

  from requests_html import HTMLSession
  
  # 全局仅初始化1次Session
  session = HTMLSession()
  session.headers.update({
      "Cookie": "替换为你从浏览器复制的完整登录Cookie",
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36"
  })
  

• 第三步：增加拦截场景的前置判定
  原脚本靠查找Followers关键词判断页面有效性的逻辑本身是可靠的，但需要加一层前置校验：如果当前请求返回的页面出现登录引导页独有的固定文案（比如Log in to Instagram、Create an account），说明请求已经被反爬拦截，不要误判为目标账号失效。
• 第四步：控制请求频率
  每完成一个用户页的校验，随机暂停2-5秒再发起下一个请求，避免短时间高频访问触发限流规则，从根源上减少被重定向到登录页的概率。

修正后的完整可运行脚本 #

import time
import random
from requests_html import HTMLSession

def username_valid():
    print("welcome to username validity checker.")
    instagram_user = input("enter username list name: ")
    # 循环外初始化全局Session，避免重复创建
    session = HTMLSession()
    session.headers.update({
        "Cookie": "替换为你的有效小号登录Cookie",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36"
    })

    with open(instagram_user, "r") as file:
        for line in file:
            target_url = line.strip()
            # 跳过空行
            if not target_url:
                continue
            resp = session.get(target_url)
            # 前置校验：判断是否被重定向到登录拦截页
            if resp.html.search("Log in to Instagram") or resp.html.search("Sign up to see photos and videos from friends."):
                print(f"{target_url} 请求被拦截，登录态失效或触发反爬限制，终止本次批量校验\n")
                break
            # 原有有效性判断逻辑
            is_alive = resp.html.search("Followers")
            if is_alive:
                print(f"{target_url} page Alive\n")
            else:
                print(f"{target_url} page Dead\n")
            # 随机等待，降低反爬触发概率
            time.sleep(random.randint(2, 5))

实操注意事项 #

• 不要用日常主账号的Cookie做批量校验，很容易触发账号的风控冻结，建议注册专门的小号用于这类场景。
• 每次跑批量任务前，先请求一次自己的小号主页，确认能正常搜到Followers关键词后再开始遍历列表，避免因为Cookie过期做无效跑批。

内容的提问来源于stack exchange，提问作者rizzla