Selenium如何过滤子div数量不足的父元素或填充缺失内容

你现有代码存在3个明显问题：

1. 误用while循环做条件判断，满足条件时会触发无限死循环，此处单次if判断即可
2. 用.//*统计子元素会匹配所有层级的嵌套节点（包括子div内部的span、a、p等所有后代元素），统计结果完全不准
3. 查找子元素时xpath以//开头会跳出当前父节点范围，匹配全页面的对应元素，必须以.//或者./开头限定查找范围为当前节点内部

下面给你两种需求的可直接运行的实现：

方案1：过滤子元素数量不足的父节点 #

先确认每个完整的row Book_Details父div下应该包含的目标子div（即class为col-md-4 col-lg-4的div）的固定数量，替换代码里的阈值即可：

from selenium.webdriver.common.by import By

# 定位所有书籍详情父块
all_book_blocks = driver.find_elements(
    By.XPATH,
    '//div[@class="col-md-6 col-lg-6 col-xs-12"]//div[@class="row Book_Details"]'
)

# 替换为你业务场景下要求的子div固定数量
REQUIRED_DIV_COUNT = 3
valid_blocks = []

for block in all_book_blocks:
    # 只统计当前父块下的直接目标子div，不统计嵌套内部元素
    child_divs = block.find_elements(By.XPATH, './div[contains(@class, "col-md-4") and contains(@class, "col-lg-4")]')
    if len(child_divs) == REQUIRED_DIV_COUNT:
        valid_blocks.append(block)
        # 按索引提取对应字段即可，示例提取第一个子div内容为ExperienceLevel
        experience_level = child_divs[0].text.strip()

方案2：缺失位置填充默认值"NA" #

如果需要保留所有父块数据，对缺失的子div位置补默认值，用以下代码：

from selenium.webdriver.common.by import By

all_book_blocks = driver.find_elements(
    By.XPATH,
    '//div[@class="col-md-6 col-lg-6 col-xs-12"]//div[@class="row Book_Details"]'
)

# 替换为你业务场景下的固定字段总数
TOTAL_FIELD_NUM = 3
all_book_data = []

for block in all_book_blocks:
    child_divs = block.find_elements(By.XPATH, './div[contains(@class, "col-md-4") and contains(@class, "col-lg-4")]')
    # 提取现有子div的文本内容
    field_values = [div.text.strip() for div in child_divs]
    # 不足位数补"NA"
    if len(field_values) < TOTAL_FIELD_NUM:
        field_values += ["NA"] * (TOTAL_FIELD_NUM - len(field_values))
    # 按固定索引取对应字段即可
    experience_level = field_values[0]
    all_book_data.append(field_values)

补充说明：如果子div的class属性存在动态后缀、多余空格或额外类名，用contains匹配类名的写法比完全等值匹配兼容性更强，不会出现漏匹配问题。

内容的提问来源于stack exchange，提问作者Foaad Mohamad Haddod