Selenium ChromeDriver/GeckoDriver POST请求失败问题求助

可能原因 #

• 自动化浏览器环境和手动环境不一致：手动Chrome自带缓存、Cookie、会话状态，而Selenium启动的是干净环境，缺少必要的请求头或会话信息，导致请求被拦截。
• 禁用HTTP/2后的请求阻塞：目标站点可能对自动化工具做了检测，禁用HTTP/2后请求卡在pending状态，是因为缺少真实用户操作的关键标识。
• 直接JS提交表单的局限性：手动点击按钮时会触发页面前置事件（比如生成动态参数、更新会话），而直接创建表单提交模拟不了这些完整流程。

解决步骤 #

1. 复用手动浏览器的会话 #

先在手动Chrome中完成登录，导出Cookie，然后在Selenium中导入，确保会话一致：

# 先访问目标域名，否则无法设置跨域Cookie
driver.get("https://example.com")
# 替换为你手动导出的Cookie列表
cookies = [
    {"name": "session_id", "value": "你的会话值", "domain": ".example.com"}
]
for cookie in cookies:
    driver.add_cookie(cookie)

2. 模拟真实点击操作，而非直接JS提交 #

找到页面上的实际按钮，模拟用户点击以触发完整页面逻辑：

# 先导航到按钮所在的目标页面
driver.get("https://example.com/目标页面")
# 等待按钮加载完成后点击
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

submit_btn = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.ID, "按钮ID"))
)
submit_btn.click()

3. 配置ChromeOptions伪装真实浏览器 #

添加参数让自动化环境更接近手动Chrome，避免被站点检测：

options = webdriver.ChromeOptions()
# 禁用自动化标识
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
# 设置和手动Chrome一致的用户代理
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
# 可选：复用本地Chrome的用户数据目录，直接保留登录状态
options.add_argument(r"user-data-dir=C:\Users\你的用户名\AppData\Local\Google\Chrome\User Data")
options.add_argument("profile-directory=Default")

4. 对比手动与自动化请求的差异 #

用Chrome DevTools抓取手动操作的请求，和Selenium的请求做对比，确认是否缺少：

• 关键请求头（比如Referer、Origin）
• 动态生成的隐藏字段值（不要硬写固定值，要从页面中获取真实生成的内容）

调试技巧 #

• 启动Chrome时自动打开DevTools：添加options.add_argument("--auto-open-devtools-for-tabs")，实时查看请求状态
• 用显式等待替代time.sleep()：等待页面跳转或目标元素加载完成，避免脚本过早结束

内容的提问来源于stack exchange，提问作者user27461491