Python Selenium嵌套元素查找：修正含products文本的元素定位

问题根源 #

原XPath实现未处理文本大小写差异，比如直接使用contains(text(), 'products')时，无法匹配首字母大写的Products文本元素。

解决方案1：使用lxml与大小写转换的XPath #

利用XPath的translate()函数将元素文本统一转为小写，再进行包含匹配，可覆盖任意嵌套层级的元素：

from lxml import html

def get_products_elements(html_content):
    tree = html.fromstring(html_content)
    # 用translate把文本转小写，再匹配"products"
    target_elements = tree.xpath(
        "//*[contains(translate(text(), 'ABCDEFGHIJKLMNOPQRSTUVWXYZ', 'abcdefghijklmnopqrstuvwxyz'), 'products')]"
    )
    return target_elements

XPath逻辑说明

• translate(text(), 'ABCDEFGHIJKLMNOPQRSTUVWXYZ', 'abcdefghijklmnopqrstuvwxyz')：将元素文本中的所有大写字母转换为小写
• contains(..., 'products')：检查转换后的文本是否包含目标字符串
• //*：匹配任意层级的所有元素，确保覆盖嵌套结构

解决方案2：使用BeautifulSoup实现 #

如果更倾向于直观的Python逻辑，可使用BeautifulSoup遍历所有元素并检查文本：

from bs4 import BeautifulSoup

def get_products_elements(html_content):
    soup = BeautifulSoup(html_content, 'html.parser')
    matched_elements = []
    for elem in soup.find_all():
        # 确保元素有文本内容，且转小写后包含"products"
        if elem.string and 'products' in elem.string.strip().lower():
            matched_elements.append(elem)
    return matched_elements

逻辑说明

• soup.find_all()：遍历HTML中所有层级的元素
• elem.string.strip().lower()：去除文本首尾空格并转为小写
• 直接判断是否包含目标字符串，逻辑清晰易维护

内容的提问来源于stack exchange，提问作者antonio_oreany