如何使用Beautiful Soup查找并提取元素内嵌套的子元素？

问题原因排查 #

你的代码写法逻辑本身是正确的，返回空结果通常是以下几个常见原因导致：

• 页面内容未完整加载：如果目标站点的产品信息是JavaScript动态渲染生成的，直接用requests请求拿到的静态HTML源码中不包含目标h1标签和嵌套span结构，自然匹配不到内容
• 解析器兼容问题：Python内置的html.parser对部分不规范的HTML结构解析容错性较差，可能会出现标签识别失败的情况
• 标签属性匹配误差：页面实际渲染的标签属性和你写的匹配规则存在微小差异（比如额外的类名、空格等）

修复方案 #

1. 基础修复（适配静态页面场景） #

优先替换解析器为兼容性更高的lxml，同时增加非空判断避免抛出异常，用get_text(strip=True)处理多余的换行和空白字符：
首先安装依赖：
pip install lxml

修正后代码：

from bs4 import BeautifulSoup as bs

soup = bs(page.content, 'lxml')
# 增加层级非空判断，避免匹配不到时报AttributeError
h1_tag = soup.find('h1', attrs={'id':'product_description'})
if h1_tag:
    product_title_span = h1_tag.find('span', attrs={'itemprop':'name'})
    if product_title_span:
        # strip=True自动去除前后的换行、空格等空白字符
        product_name = product_title_span.get_text(strip=True)
        products.append(product_name)

你也可以直接定位itemprop="name"的span标签，减少层级依赖提升匹配成功率：

product_title_span = soup.find('span', attrs={'itemprop':'name'})
if product_title_span:
    products.append(product_title_span.get_text(strip=True))

2. 动态页面适配 #

如果确认静态HTML源码中没有目标标签，说明内容是JS动态渲染的，需要先通过无头浏览器加载完整页面后再解析，示例用Selenium实现：
首先安装依赖：
pip install selenium webdriver-manager

代码示例：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup as bs

# 启动无头浏览器
options = webdriver.ChromeOptions()
options.add_argument("--headless=new") # 无头模式，不弹出浏览器窗口
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)

driver.get("你的目标页面URL")
# 获取渲染完成的完整页面源码
page_source = driver.page_source
driver.quit()

# 后续解析逻辑和静态页面一致
soup = bs(page_source, 'lxml')
product_title_span = soup.find('span', attrs={'itemprop':'name'})
if product_title_span:
    products.append(product_title_span.get_text(strip=True))

内容的提问来源于stack exchange，提问作者BruceyBandit