You need to enable JavaScript to run this app. 如何提取打印HTML标签中的首个元素 实现爬虫过滤video后缀链接
优惠活动
大模型
产品
解决方案
定价
更多

如何提取打印HTML标签中的首个元素 实现爬虫过滤video后缀链接

提取目标链接的调整方案

现有代码核心问题

  • 嵌套两层查找a标签:先把带ng-star-inserted类的a标签存为列表,又在每个列表元素里二次遍历所有a标签,导致每个区块被重复提取出多个链接
  • 没有加链接过滤规则:运行时不会识别带video标识的链接,自然会把这类不符合要求的内容存入结果列表

具体调整逻辑

  • 单区块仅提取第一个链接:把原来循环遍历所有a标签的写法,替换为find()方法(仅返回匹配到的第一个元素),从根源上避免多提取多余链接
  • 增加video类链接拦截:拼完完整链接后,判断链接路径里是否包含video字符,符合条件的直接跳过,不加入最终结果
  • 修正定位偏差:原来的逻辑直接把a标签当成区块容器,很容易触发嵌套抓取的问题,调整为定位每个结果卡片的外层容器,再从容器内提取首个链接

调整后的可运行代码

from selenium import webdriver
from bs4 import BeautifulSoup
import time
driver = webdriver.Chrome()
jam = []
baseurl = 'https://meetinglibrary.asco.org'
driver.get('https://meetinglibrary.asco.org/results?meetingView=2020%20ASCO%20Virtual%20Scientific%20Program&page=1')
time.sleep(3)
page_source = driver.page_source
soup = BeautifulSoup(page_source, 'html.parser')
# 定位每个独立结果卡片的外层容器
card_list = soup.find_all('div', class_='search-result-card')
for card in card_list:
    # 仅提取当前卡片内第一个带href属性的a标签
    first_link = card.find('a', href=True)
    if not first_link:
        continue
    full_link = baseurl + first_link['href']
    # 过滤包含video标识的无效链接,兼容大小写
    if 'video' in full_link.lower():
        continue
    jam.append(full_link)
print(jam)

内容的提问来源于stack exchange,提问作者Void S

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 22:24:05