如何使用BeautifulSoup在指定class的div的首个p标签中提取a标签的href并修复KeyError问题

首先咱们先梳理下你遇到的两个核心问题：一是之前的代码误拿到了广告链接，二是修改后的代码触发了KeyError: 0报错。我来一步步帮你搞定：

为什么修改后的代码会报错？ #

你写的这段代码：

for item in soup_subpage.select("div.entry-content.clearfix > p > a"):
    subpage_link = item[0]['href']

问题出在item[0]这里——select()方法返回的是符合选择器的所有<a>标签组成的列表，循环里的item本身就是单个的<a>标签元素，不是列表，所以你试图用[0]去索引它，自然会触发KeyError。

正确的解决方案：精准定位目标元素 #

你的需求是获取class为entry-content的div下第一个p标签里的a标签href，我们可以用更精准的定位方式，彻底避开广告链接的干扰：

方案1：分步定位（逻辑清晰，便于调试） #

def transform_subpage(soup_subpage):
    # 先定位到目标div
    entry_content = soup_subpage.find('div', class_='entry-content')
    if not entry_content:
        return subpage  # 如果找不到目标div，直接返回，避免报错
    
    # 在这个div里找第一个p标签
    first_p = entry_content.find('p')
    if not first_p:
        return subpage
    
    # 在第一个p标签里找a标签
    target_a = first_p.find('a')
    if target_a and 'href' in target_a.attrs:
        subpage_link = {'subpage_link': target_a['href']}
        subpage.append(subpage_link)
    
    return subpage

方案2：用CSS选择器直接定位第一个符合条件的元素 #

如果想用CSS选择器，可以直接取匹配结果的第一个元素，不需要循环：

def transform_subpage(soup_subpage):
    # 直接定位到entry-content下第一个p里的a标签
    target_a = soup_subpage.select_one("div.entry-content > p:first-of-type > a")
    if target_a and 'href' in target_a.attrs:
        subpage_link = {'subpage_link': target_a['href']}
        subpage.append(subpage_link)
    
    return subpage

关键说明 #

• 用find()而不是find_all()：find()只会返回第一个匹配的元素，刚好符合你要“第一个p标签”的需求；
• 加入多步判断：避免某些页面结构不符合预期时程序崩溃，比如没有目标div、p标签或a标签的情况；
• select_one()的优势：和select()不同，它直接返回第一个匹配的元素，不需要再手动取列表索引，更高效。

内容的提问来源于stack exchange，提问作者ppincus