无法通过Selenium Chrome抓取亚马逊BuyBox价格的技术求助

核心问题分析 #

亚马逊的反爬机制会识别Selenium的自动化特征，同时商品价格元素属于动态渲染内容，普通的定位+等待逻辑无法绕过检测。

具体解决步骤 #

1. 绕过Selenium自动化检测

改用undetected-chromedriver库替代原生ChromeDriver，它会自动修改浏览器特征，规避亚马逊的反爬识别：

from undetected_chromedriver import Chrome, ChromeOptions
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

options = ChromeOptions()
options.add_argument("--start-maximized")
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_argument("--lang=en-GB")  # 强制加载英国地区页面

driver = Chrome(options=options)
driver.get("https://www.amazon.co.uk/SheaMoisture-Treatment-silicone-sulphate-transitioning/dp/B01HOD3ZVQ/")

2. 精准定位BuyBox价格元素

针对目标商品页面，BuyBox价格的有效定位方式：

• CSS选择器：.a-price[data-a-size='xl'] .a-offscreen
• XPath：//span[@data-a-size='xl' and @class='a-price']//span[@class='a-offscreen']

结合JavaScript执行获取文本（避免元素不可见导致的内容获取失败）：

try:
    # 等待价格元素加载完成
    price_element = WebDriverWait(driver, 20).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, ".a-price[data-a-size='xl'] .a-offscreen"))
    )
    # 通过JS直接提取文本，绕过元素可见性限制
    price = driver.execute_script("return arguments[0].textContent", price_element)
    print(f"BuyBox价格：{price}")
except Exception as e:
    print(f"抓取失败：{str(e)}")
finally:
    driver.quit()

3. 额外优化建议

• 加入随机延迟：页面加载后添加time.sleep(2)，模拟人类浏览行为
• 控制请求频率：短时间内多次请求会触发IP封禁，建议每次请求间隔3-5分钟
• 复用浏览器会话：可以保存Cookie，避免重复加载时触发验证

内容的提问来源于stack exchange，提问作者vp1393