如何修改Python爬虫代码实现多关键词批量爬取PubMed?
多关键词批量爬取PubMed的代码修改方案
直接用以下修改后的代码就能实现多关键词批量处理:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys # 定义需要批量处理的关键词列表 keywordlist = ["worm", "inflammation", "fever"] browser = webdriver.Chrome() browser.get('https://pubmed.ncbi.nlm.nih.gov/') for keyword in keywordlist: # 定位搜索框 elem = browser.find_element(By.ID, 'id_term') # 清空搜索框(全选原有内容后删除) elem.send_keys(Keys.CONTROL, 'a') elem.send_keys(Keys.DELETE) # 输入当前关键词并提交搜索 elem.send_keys(keyword + Keys.ENTER) # 打印当前关键词的搜索结果信息 print(f"=== 关键词「{keyword}」搜索结果 ===") print("搜索标题:", browser.title) print("结果URL:", browser.current_url) print() # 空行分隔不同关键词的结果 # 回到PubMed首页,准备下一个关键词搜索 browser.get('https://pubmed.ncbi.nlm.nih.gov/') browser.quit()
关键改动说明
- 移除手动输入关键词的逻辑,改用预定义的
keywordlist批量处理指定关键词 - 新增
for循环遍历关键词列表,逐个执行搜索流程 - 每次输入新关键词前,通过全选+删除清空搜索框,避免之前的关键词残留导致搜索出错
- 给每个关键词的结果添加分隔标识,方便区分不同关键词的输出
- 每次搜索完成后主动回到PubMed首页,确保下一次搜索的环境干净
内容的提问来源于stack exchange,提问作者user20137369
相关产品推荐
相关产品推荐

