使用BeautifulSoup导航DOM树：列表页卖家信息爬取求助

嗨，作为刚接触网页爬取的新手，遇到DOM导航的问题太正常啦！你已经成功定位到了所有商品列表的<li>元素，接下来只需要精准逐层查找嵌套的卖家信息元素就行。

你之前尝试用.div.div的方式调用嵌套元素没成功，是因为这种直接的属性访问只会返回当前元素下第一个匹配的子元素，但页面里有很多同名的<div>，你没法保证拿到的就是对应卖家信息的那一个。正确的做法是用BeautifulSoup的find()方法，通过元素的class属性来精准定位每一层的嵌套元素。

下面是修改后的完整代码，我已经帮你加上了遍历逻辑和错误处理，避免找不到元素时程序崩溃：

from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup

myurl = 'https://www.2ememain.be/l/velos-velomoteurs/q/velo/'
uClient = uReq(myurl)
page_html = uClient.read()
uClient.close()
page_soup = soup(page_html, "lxml")
containers = page_soup.findAll("li", {"class": "mp-Listing mp-Listing--list-item"})

# 遍历每个商品列表项
for item_num, container in enumerate(containers, start=1):
    print(f"=== 第 {item_num} 个商品 ===")
    
    # 逐层查找卖家信息，每一步都做存在性判断
    # 第一步：找到商品内容的外层div
    content_container = container.find("div", class_="mp-Listing-content")
    if not content_container:
        print("⚠️ 未找到商品内容区域，跳过")
        continue
    
    # 第二步：找到侧边信息组
    aside_group = content_container.find("div", class_="mp-Listing-group--aside")
    if not aside_group:
        print("⚠️ 未找到侧边信息组，跳过")
        continue
    
    # 第三步：找到顶部信息块（包含卖家、价格等）
    top_info_block = aside_group.find("div", class_="mp-Listing-group--top-block")
    if not top_info_block:
        print("⚠️ 未找到顶部信息块，跳过")
        continue
    
    # 第四步：找到卖家名称的span容器
    seller_name_span = top_info_block.find("span", class_="mp-Listing-seller-name")
    if not seller_name_span:
        print("⚠️ 未找到卖家名称容器，跳过")
        continue
    
    # 第五步：提取里面的a标签内容
    seller_link = seller_name_span.find("a", class_="mp-TextLink")
    if seller_link:
        # 获取卖家名称（去除多余空格换行）
        seller_name = seller_link.get_text(strip=True)
        # 获取卖家主页链接，设置默认值防止无链接情况
        seller_url = seller_link.get("href", "无可用链接")
        print(f"✅ 卖家名称: {seller_name}")
        print(f"🔗 卖家链接: {seller_url}")
    else:
        print("⚠️ 未找到卖家链接")
    
    print("---")

关键知识点说明： #

1. 精准定位元素：用find("div", class_="xxx")代替直接.div，确保我们拿到的是带有目标class的元素，避免找错层级。
2. 错误处理：每一步查找后都判断元素是否存在，防止某一层元素缺失时抛出AttributeError导致程序中断。
3. 文本与属性提取：
   • get_text(strip=True)：去除文本前后的空格、换行符，得到干净的卖家名称。
   • get("href", "默认值")：安全获取a标签的href属性，如果属性不存在则返回默认值。

这样你就能顺利遍历所有商品，提取到每个商品对应的卖家信息啦！

内容的提问来源于stack exchange，提问作者Falanpin