Selenium Chromedriver无法加载Bet365主页面的问题咨询及解决方法

嘿，我之前也碰到过类似的情况——bet365这类博彩网站对自动化工具的检测真的很严格，哪怕你IP没被封、常规浏览器能正常访问，Selenium默认的配置也很容易被揪出来。咱们一步步来拆解问题和解决方案：

核心问题原因 #

你遇到的情况大概率是Selenium启动的浏览器带有明显的自动化指纹，bet365的反爬机制识别到了这些特征，从而限制了访问，具体包括：

• 浏览器的navigator.webdriver属性默认会被设为true，而正常手动打开的Chrome里这个值是undefined
• Selenium启动的浏览器缺少一些真实用户操作的特征，比如默认窗口不是最大化、没有交互行为
• 请求头参数和真实浏览器存在差异，比如User-Agent不匹配，或者缺少某些自定义头
• 虽然你没检测到Distil，但bet365自身有一套自研的反爬机制，专门针对自动化工具的指纹识别

具体解决办法 #

1. 隐藏Selenium的webdriver标识（最关键） #

这是绕开检测的核心步骤，通过ChromeOptions和CDP命令修改浏览器属性，让网站无法识别这是自动化工具：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
# 禁用自动化相关扩展
options.add_argument("--disable-extensions")
# 关闭自动化控制提示的特性
options.add_argument("--disable-blink-features=AutomationControlled")

# 启动浏览器后，通过CDP命令修改navigator.webdriver属性
browser = webdriver.Chrome(r"chromedriver.exe", options=options)
browser.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
    'source': '''
        Object.defineProperty(navigator, 'webdriver', {
            get: () => undefined
        })
    '''
})

browser.get("https://www.bet365.es")

2. 模拟真实浏览器的特征 #

让你的Selenium浏览器尽可能贴近手动操作的Chrome：

• 设置和你手动浏览器一致的User-Agent（可以在Chrome的about:version页面查看）
• 启动时最大化窗口，禁用自动化提示信息栏

# 添加匹配的User-Agent
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"
options.add_argument(f'user-agent={user_agent}')

# 最大化窗口
options.add_argument("--start-maximized")
# 禁用“Chrome正受到自动测试软件控制”的提示栏
options.add_argument("--disable-infobars")

3. 添加用户交互模拟 #

bet365会检测页面加载后的行为，完全无交互的自动化请求很容易被拦截：

import time

browser.get("https://www.bet365.es")
# 等待页面完全加载（也可以用WebDriverWait替代固定sleep，更优雅）
time.sleep(3)
# 模拟滚动页面，模拟用户浏览行为
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)

4. 尝试隐身模式启动 #

有时候本地缓存或Cookie会影响检测结果，用隐身模式可以避免这类问题：

options.add_argument("--incognito")

5. 关于robots.txt的说明 #

你提供的robots.txt只限制了/home/、/instantbet/等特定路径，根路径并没有被禁止，所以这不是你当前无法访问的主要原因，但要确保你的脚本没有请求这些被限制的路径。

总结 #

把以上方法组合起来，基本就能绕过bet365的基础反爬检测。核心思路就是尽可能消除Selenium和真实浏览器之间的差异，让你的请求看起来完全像是一个真实用户在操作。

内容的提问来源于stack exchange，提问作者puppet