You need to enable JavaScript to run this app. 使用scholarly.pprint遇StopIteration错误,仅能获取首位教授谷歌学术档案
优惠活动
大模型
产品
解决方案
定价
更多

使用scholarly.pprint遇StopIteration错误,仅能获取首位教授谷歌学术档案

问题根因

报错的触发逻辑可拆解为三点:

  • 裸调用迭代器取值无容错:代码直接执行next(search_query),当搜索返回的可迭代对象没有任何匹配条目时,next()找不到对应元素就会直接抛出StopIteration中断程序。第一个姓名能正常返回结果只是首次请求的巧合,不代表后续请求能正常返回内容。
  • 触发谷歌学术反爬拦截:scholarly默认没有做请求频率控制、请求头轮换,短时间连续发起多次搜索请求后,谷歌学术的反爬机制会直接拦截后续请求,不返回任何匹配条目,此时迭代器本身为空,自然无法通过next()取到值。
  • 搜索匹配失效:教授姓名普遍存在重名率高、拼写格式不统一、缺少所属机构限定的问题,部分姓名搜索无法匹配到对应公开档案,也会返回空迭代器。
分步解决方法

1. 给迭代器取值增加容错机制

修改裸用next()的写法,给next添加默认返回值,避免空结果触发异常中断程序:

for name in professor_list:
    search_query = scholarly.search_author(name)
    # 迭代器无值时返回None,不会抛出StopIteration
    author = next(search_query, None)
    if not author:
        print(f"未检索到{name}的匹配档案,跳过当前条目")
        continue
    scholarly.pprint(author)

2. 规避谷歌学术反爬限流

scholarly默认的请求策略很容易被谷歌识别为爬虫拦截,需要主动调整请求节奏:

  • 每次搜索请求前增加随机等待间隔,不要短时间连续调用接口,示例代码:
import time
import random

for name in professor_list:
    # 每次请求前随机等待1~3秒,降低被拦截概率
    time.sleep(random.uniform(1, 3))
    search_query = scholarly.search_author(name)
    # ... 后续匹配逻辑
  • 配置scholarly的自定义请求头、代理通道,减少裸请求的拦截概率。

3. 优化搜索匹配逻辑

  • 不要仅用姓名作为搜索关键词,搭配教授所属的机构名称拼接为搜索词,减少重名带来的匹配失效问题。
  • 如果需要精准定位目标档案,不要只取搜索结果的第一个条目,遍历完整匹配列表,通过所属单位、研究方向等字段筛选对应教授的公开档案。

内容的提问来源于stack exchange,提问作者Yash Ahuja

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 05:36:01