使用Selenium定位含data-asin属性的div元素返回数量为0

核心错误：定位策略误用 #

你代码里的关键问题是用By.TAG_NAME传递XPath表达式，两者完全不匹配：By.TAG_NAME仅支持标签名（如div），而//div[@data-asin]是XPath语法，必须使用By.XPATH作为定位策略。

修改parse_data函数中的两行代码：

# 替换原显式等待行
x_index = wait.until(EC.visibility_of_all_elements_located((By.XPATH, '//div[@data-asin]')))

# 替换原直接查找行
y_index = driver.find_elements(By.XPATH, '//div[@data-asin]')

其他潜在问题排查 #

1. 无头模式窗口尺寸问题
   无头模式下start-maximized可能不生效，亚马逊会因窗口过小加载不同内容。在create_driver中替换为明确的窗口尺寸：

   chrome_options.add_argument("--window-size=1920,1080")
   

2. 全局变量driver的风险
   parse_data直接使用全局driver容易引发变量污染，建议改为显式传参：

   def goToUrl_Se(driver):
       # 循环内调用时传入driver
       parse_data(driver)
   
   def parse_data(driver):
       wait = WebDriverWait(driver, timeout=77)
       # 后续所有操作使用传入的driver
   

3. 亚马逊反爬应对
   若修改后仍无法获取元素，可添加反爬规避措施：

   • 添加真实User-Agent：

     chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36")
     

   • 页面加载后增加短暂等待（如time.sleep(2)）模拟用户行为。

验证步骤 #

1. 优先修改定位策略为By.XPATH，运行代码查看元素数量是否正常。
2. 若无效，添加窗口尺寸和User-Agent参数。
3. 最后调整driver的传递方式，避免全局变量风险。

内容的提问来源于stack exchange，提问作者xlmaster