使用Selenium打开bikedekho筛选链接时自动变更的问题求助

核心原因 #

网站大概率通过检测浏览器自动化特征（比如Selenium默认的UA、浏览器指纹）做了重定向，把自动化请求导向错误页面（比如把摩托车页面改成汽车页面）。

具体解决步骤 #

1. 伪装真实浏览器的User-Agent #

Selenium默认UA会暴露是自动化工具，直接替换成你自己真实浏览器的UA（可在浏览器控制台输入navigator.userAgent查看）：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
# 替换成你实际的浏览器UA
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get('https://www.bikedekho.com/used-bikes+125cc-150cc+in+ahmedabad')

2. 隐藏自动化标识 #

Chrome有参数可以屏蔽Selenium的自动化特征检测，让网站更难识别你在用爬虫工具：

options.add_argument("--disable-blink-features=AutomationControlled")

3. 启用无痕模式 #

无痕模式的浏览器环境更接近真实用户，能避免缓存或残留Cookie导致的异常重定向：

options.add_argument("--incognito")

4. 模拟手动筛选（替代直接访问链接） #

如果直接访问链接还是不行，换个思路：先打开目标城市的二手摩托主页面，再模拟点击筛选条件，完全复刻用户操作：

driver.get('https://www.bikedekho.com/used-bikes-in-ahmedabad')

# 用显式等待确保元素加载完成，避免报错
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 点击发动机排量的筛选入口（需根据当前页面HTML调整定位器）
cc_filter_btn = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, "//*[contains(text(), 'Engine Capacity')]"))
)
cc_filter_btn.click()

# 选择125cc-150cc的选项（同样需根据页面实际元素调整）
cc_option = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, "//*[contains(text(), '125cc - 150cc')]"))
)
cc_option.click()

这种方式几乎不会触发网站的重定向机制。

5. 清空缓存与Cookie #

如果之前爬过该网站，残留的Cookie可能导致识别异常，启动浏览器时直接清空：

options.add_argument("--disable-cache")
options.add_argument("--disable-cookies")

注意事项 #

• 不要频繁请求，每次操作后加几秒等待（比如time.sleep(2)或用显式等待），避免被封IP。
• 页面元素定位器需要根据当前网站的HTML结构调整，用浏览器开发者工具查看元素的XPath或CSS选择器。

内容的提问来源于stack exchange，提问作者kishor khade