微博搜索爬虫登录异常求助：已登录仍弹出验证窗口

我之前爬微博搜索的时候也碰到过一模一样的情况！明明已经手动登录了，但爬虫运行几秒后还是会弹出登录窗口——这其实是微博的反爬机制在检测自动化工具的特征，Selenium默认的配置很容易被识别出来。给你几个亲测有效的解决办法：

1. 隐藏Selenium的自动化特征 #

微博会通过window.navigator.webdriver等浏览器属性判断是否是自动化工具，我们可以通过ChromeOptions来修改这些特征：

from selenium.webdriver.chrome.options import Options
import random
import systime

# 配置Chrome选项
chrome_options = Options()
# 核心：禁用自动化控制检测
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
# 移除自动化扩展和开关
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
# 设置真实的User-Agent（从你自己的Chrome浏览器复制，F12->网络->随便选一个请求看请求头）
chrome_options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36')

# 初始化浏览器
driver = webdriver.Chrome(executable_path=r"C:\Users\some.name\chromedriver_win32\chromedriver.exe", options=chrome_options)

2. 复用已登录的Chrome会话 #

直接使用你日常登录微博的Chrome用户数据目录，这样启动的浏览器会自动保持登录状态，彻底避免登录弹窗：

chrome_options = Options()
# 指定Chrome用户数据目录（Windows路径示例，替换成你的用户名）
chrome_options.add_argument(r'user-data-dir=C:\Users\some.name\AppData\Local\Google\Chrome\User Data')
# 指定使用默认配置文件
chrome_options.add_argument('--profile-directory=Default')

driver = webdriver.Chrome(executable_path=r"C:\Users\some.name\chromedriver_win32\chromedriver.exe", options=chrome_options)
# 直接访问搜索页面，已经是登录状态
driver.get(url)

⚠️ 注意：启动爬虫前要关闭所有正在运行的Chrome窗口，否则会报错。

3. 模拟人类操作节奏，降低请求频率 #

微博对高频自动化请求很敏感，你现在的循环翻页速度太快，容易触发反爬。可以添加随机延迟，甚至模拟点击分页按钮：

# 每次页面加载后随机延迟3-7秒
systime.sleep(random.randint(3,7))

# 替代直接get新URL，模拟点击下一页按钮
try:
    next_page_btn = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.CSS_SELECTOR, 'a.next'))
    )
    next_page_btn.click()
except Exception as e:
    print("已到最后一页或按钮未找到：", e)

4. 持久化Cookie（备选方案） #

如果复用会话不方便，可以在手动登录后保存Cookie，后续启动时加载：

# 第一次登录时保存Cookie
driver.get('https://weibo.com')
# 手动完成登录后执行以下代码
import pickle
pickle.dump(driver.get_cookies(), open("weibo_cookies.pkl", "wb"))

# 后续启动爬虫时加载Cookie
driver.get('https://s.weibo.com')  # 必须先打开微博域名，否则无法添加Cookie
cookies = pickle.load(open("weibo_cookies.pkl", "rb"))
for cookie in cookies:
    driver.add_cookie(cookie)
driver.refresh()  # 刷新后保持登录状态

建议先尝试前两个方法，尤其是隐藏Selenium特征+复用会话，这组合几乎能解决大部分登录弹窗问题。如果还是不行，可以检查Cookie是否过期，或者是否触发了滑动验证码（可能需要额外处理）。

内容的提问来源于stack exchange，提问作者Matthias Gallagher