Python Selenium爬取链接添加前3条限制后无输出如何修复
问题原因
你当前的计数逻辑统计的是所有被遍历的a标签总数,而非符合/job/匹配规则的链接数量。页面前3个a标签多为导航、logo类非职位链接,不满足打印条件,循环遍历到第4个a标签时就会直接终止,因此无任何内容输出。
修复方案
调整计数逻辑,仅当匹配到符合要求的职位链接时再累加计数,累计到3条后终止循环即可,修复后代码如下:
from selenium import webdriver i = 0 # Selenium 4.6及以上版本无需手动指定chromedriver路径,会自动适配管理 driver = webdriver.Chrome(executable_path="/usr/local/bin/chromedriver") driver.get("https://problogger.com/jobs/") elems = driver.find_elements_by_tag_name('a') for postings in elems: href = postings.get_attribute('href') # 增加href非空判断避免属性不存在时报错 if href and '/job/' in href: print(href) i += 1 if i >= 3: break # 执行完成后关闭浏览器驱动释放资源 driver.quit()
内容的提问来源于stack exchange,提问作者Naman Bansal
相关产品推荐
相关产品推荐

