Selenium Firefox驱动操作nbc.com登录成功却弹出异常提示

我尝试用Selenium的Firefox驱动实现nbc.com的自动登录，登录成功后页面没有跳转到预期的链接提供者页面，反而显示提示语："Sorry, we had a problem. Please try again."。我试过三种方式都出现同样错误，想确认是网站本身的限制，还是我的代码有遗漏：

尝试的操作与代码 #

1. 自动登录代码 #

from selenium.webdriver.common.by import By

# 自定义类用于加载或创建Firefox配置文件
from library import Firefox

firefox = Firefox()
firefox.get('https://www.nbc.com/sign-in')

html = firefox.find_element(by = By.TAG_NAME, value = 'html')
form = html.find_element(by = By.TAG_NAME, value = 'form')

for element in form.find_elements(by = By.TAG_NAME, value = 'input'):
    if element.get_attribute(name = 'type') == 'email':
        element.send_keys('name@gmail.com')
    elif element.get_attribute(name = 'type') == 'password':
        element.send_keys('******')  # noqa

for element in form.find_elements(by = By.TAG_NAME, value = 'label'):
    if element.get_attribute(name = 'class') == 'auth-terms__terms-checkbox':  # noqa
        element.click()
        break

form.find_element(by = By.TAG_NAME, value = 'button').click()

2. 加载配置文件后手动登录 #

from library import Firefox

firefox = Firefox()
firefox.get('https://www.nbc.com/sign-in')

3. 不使用配置文件直接启动Firefox并手动登录 #

from selenium.webdriver import Firefox

firefox = Firefox()
firefox.get('https://www.nbc.com/sign-in')

可能的原因及解决方向 #

1. 网站反爬识别 #

NBC可能检测到了Selenium的自动化特征（比如webdriver属性），限制了登录请求。可以尝试：

• 隐藏Firefox的webdriver标识：通过设置浏览器偏好dom.webdriver.enabled为False
• 使用专门规避检测的工具，模拟更真实的浏览器环境

2. 元素定位不精确 #

代码中通过标签名直接查找button提交表单，可能页面存在多个button标签，点击了错误的元素。建议：

• 用更精确的定位方式，比如通过class、id或xpath定位提交按钮，例如查找带有type="submit"属性的按钮

3. 页面加载未完成就操作 #

直接查找元素可能遇到元素未完全渲染的情况，导致操作无效。可以：

• 使用WebDriverWait等待元素可交互后再执行操作，比如等待邮箱输入框、提交按钮加载完成

4. IP/地区限制 #

NBC的服务可能仅对美国地区IP开放，若当前IP不在允许范围内，会触发错误。可以尝试使用美国地区的代理IP测试

5. 请求头缺失 #

Selenium默认的请求头和真实浏览器有差异，网站可能以此识别自动化请求。可以：

• 启动浏览器时设置与真实浏览器一致的User-Agent等请求头

内容的提问来源于stack exchange，提问作者phpjunkie