Selenium+BeautifulSoup爬取存款限额工具状态异常排查

常见错误原因 #

• 元素定位偏差：未精准定位到「Deposit Limit Tool」对应的页面元素
• 删除线判断逻辑错误：未正确识别页面实现删除线的方式（标签或CSS样式）
• 页面加载不充分：Selenium在元素未完全渲染时就执行了解析操作

具体修复方案 #

1. 确保页面元素完全加载 #

使用Selenium显式等待，等待目标元素可见后再进行后续操作：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 最长等待15秒，直到目标元素可见
wait = WebDriverWait(driver, 15)
target_element = wait.until(EC.visibility_of_element_located((By.XPATH, "//li[contains(text(), 'Deposit Limit Tool')]")))

2. 正确识别两种删除线实现方式 #

页面中删除线通常有两种实现形式，需分别处理：

情况1：元素被<s>/<strike>标签包裹

from bs4 import BeautifulSoup

soup = BeautifulSoup(driver.page_source, 'html.parser')
# 定位包含目标文本的元素
tool_text = soup.find(text=lambda t: t and 'Deposit Limit Tool' in t.strip())
if tool_text:
    # 检查自身或父级是否有删除线标签
    has_strike_tag = tool_text.parent.name in ['s', 'strike'] or tool_text.find_parent(['s', 'strike']) is not None
    print("no" if has_strike_tag else "yes")
else:
    print("未找到目标元素")

情况2：元素应用text-decoration: line-through CSS样式

直接通过Selenium获取元素的计算样式判断：

# 获取元素的文本装饰样式
text_decoration = driver.execute_script("return window.getComputedStyle(arguments[0]).textDecorationLine;", target_element)
print("no" if 'line-through' in text_decoration else "yes")

3. 验证元素定位准确性 #

先在浏览器开发者工具中手动定位「Deposit Limit Tool」元素，确认选择器是否正确。例如，该元素通常在功能列表项中，可使用更精准的XPath：

//div[contains(@class, 'casino-features-list')]//li[contains(text(), 'Deposit Limit Tool')]

完整可用代码示例 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://www.askgamblers.com/online-casinos/reviews/casino-friday")

try:
    # 等待目标元素加载完成
    wait = WebDriverWait(driver, 15)
    tool_item = wait.until(EC.visibility_of_element_located((By.XPATH, "//li[contains(text(), 'Deposit Limit Tool')]")))
    
    # 判断删除线样式
    text_decoration = driver.execute_script("return window.getComputedStyle(arguments[0]).textDecorationLine;", tool_item)
    print("no" if 'line-through' in text_decoration else "yes")
finally:
    driver.quit()

内容的提问来源于stack exchange，提问作者Amen Aziz