使用scholarly.pprint遇StopIteration错误,仅能获取首位教授谷歌学术档案
问题根因
报错的触发逻辑可拆解为三点:
- 裸调用迭代器取值无容错:代码直接执行
next(search_query),当搜索返回的可迭代对象没有任何匹配条目时,next()找不到对应元素就会直接抛出StopIteration中断程序。第一个姓名能正常返回结果只是首次请求的巧合,不代表后续请求能正常返回内容。 - 触发谷歌学术反爬拦截:scholarly默认没有做请求频率控制、请求头轮换,短时间连续发起多次搜索请求后,谷歌学术的反爬机制会直接拦截后续请求,不返回任何匹配条目,此时迭代器本身为空,自然无法通过
next()取到值。 - 搜索匹配失效:教授姓名普遍存在重名率高、拼写格式不统一、缺少所属机构限定的问题,部分姓名搜索无法匹配到对应公开档案,也会返回空迭代器。
分步解决方法
1. 给迭代器取值增加容错机制
修改裸用next()的写法,给next添加默认返回值,避免空结果触发异常中断程序:
for name in professor_list: search_query = scholarly.search_author(name) # 迭代器无值时返回None,不会抛出StopIteration author = next(search_query, None) if not author: print(f"未检索到{name}的匹配档案,跳过当前条目") continue scholarly.pprint(author)
2. 规避谷歌学术反爬限流
scholarly默认的请求策略很容易被谷歌识别为爬虫拦截,需要主动调整请求节奏:
- 每次搜索请求前增加随机等待间隔,不要短时间连续调用接口,示例代码:
import time import random for name in professor_list: # 每次请求前随机等待1~3秒,降低被拦截概率 time.sleep(random.uniform(1, 3)) search_query = scholarly.search_author(name) # ... 后续匹配逻辑
- 配置scholarly的自定义请求头、代理通道,减少裸请求的拦截概率。
3. 优化搜索匹配逻辑
- 不要仅用姓名作为搜索关键词,搭配教授所属的机构名称拼接为搜索词,减少重名带来的匹配失效问题。
- 如果需要精准定位目标档案,不要只取搜索结果的第一个条目,遍历完整匹配列表,通过所属单位、研究方向等字段筛选对应教授的公开档案。
内容的提问来源于stack exchange,提问作者Yash Ahuja
相关产品推荐
相关产品推荐

