如何提取打印HTML标签中的首个元素 实现爬虫过滤video后缀链接
提取目标链接的调整方案
现有代码核心问题
- 嵌套两层查找
a标签:先把带ng-star-inserted类的a标签存为列表,又在每个列表元素里二次遍历所有a标签,导致每个区块被重复提取出多个链接 - 没有加链接过滤规则:运行时不会识别带video标识的链接,自然会把这类不符合要求的内容存入结果列表
具体调整逻辑
- 单区块仅提取第一个链接:把原来循环遍历所有a标签的写法,替换为
find()方法(仅返回匹配到的第一个元素),从根源上避免多提取多余链接 - 增加video类链接拦截:拼完完整链接后,判断链接路径里是否包含video字符,符合条件的直接跳过,不加入最终结果
- 修正定位偏差:原来的逻辑直接把a标签当成区块容器,很容易触发嵌套抓取的问题,调整为定位每个结果卡片的外层容器,再从容器内提取首个链接
调整后的可运行代码
from selenium import webdriver from bs4 import BeautifulSoup import time driver = webdriver.Chrome() jam = [] baseurl = 'https://meetinglibrary.asco.org' driver.get('https://meetinglibrary.asco.org/results?meetingView=2020%20ASCO%20Virtual%20Scientific%20Program&page=1') time.sleep(3) page_source = driver.page_source soup = BeautifulSoup(page_source, 'html.parser') # 定位每个独立结果卡片的外层容器 card_list = soup.find_all('div', class_='search-result-card') for card in card_list: # 仅提取当前卡片内第一个带href属性的a标签 first_link = card.find('a', href=True) if not first_link: continue full_link = baseurl + first_link['href'] # 过滤包含video标识的无效链接,兼容大小写 if 'video' in full_link.lower(): continue jam.append(full_link) print(jam)
内容的提问来源于stack exchange,提问作者Void S
相关产品推荐
相关产品推荐

