使用Bio包Entrez.esearch函数时出现不可预测HTTPError求助

问题描述 #

使用BioPython的Entrez模块从PubMed Central（PMC）获取记录时，在随机获取若干条（1-100条不等）后触发HTTPError: Bad Request，已尝试在efetch调用间添加0.5-5秒延迟，问题仍未解决。相关报错信息：

request.py:643 in http_error_default
raise HTTPError(req.full_url, code, msg, hdrs, fp)

HTTPError: Bad Request

核心代码片段：

database = "pmc"
query = f"{search_terms}[Title] OR {search_terms}[Abstract]"

# 检索Entrez数据库并获取结果
handle = Entrez.esearch(db=database, term=query, retmax=10000, api_key = os.environ['ENTREZ_API_KEY'])
record = Entrez.read(handle)

# 获取每条结果的PMCID
pmcids = record["IdList"]
handle.close()

for pmcid in pmcids:
    # 从PMC获取文章的全文XML
    print(f"Trying to retrieve XML for PMC{pmcid}")
    handle = Entrez.efetch(db=database,
                           api_key = os.environ['ENTREZ_API_KEY'],
                           id=pmcid,
                           retmode="xml",
                           max_tries=100)

    xml_record = handle.read()
    handle.close()
    time.sleep(0.5)

    # 获取Medline格式文本
    print(f"Trying to retrieve text for PMC{pmcid}")
    handle = Entrez.efetch(db=database,
                            api_key = os.environ['ENTREZ_API_KEY'],
                            id=pmcid,
                            rettype="Medline",
                            retmode="text",
                            max_tries=100)
    text_record = Medline.read(handle)
    handle.close()
    time.sleep(0.5)

解决建议 #

• 验证API密钥有效性：确认环境变量中的ENTREZ_API_KEY是否正确、未过期。NCBI的API密钥需关联有效邮箱，密钥无效会直接导致请求被拒绝。
• 改用批量请求减少调用次数：将PMCID分组批量请求（比如一次传20个ID），大幅降低单次请求频率，同时提升效率。示例代码：

  batch_size = 20
  for i in range(0, len(pmcids), batch_size):
      batch = pmcids[i:i+batch_size]
      # 批量获取XML
      handle = Entrez.efetch(db=database, api_key=os.environ['ENTREZ_API_KEY'],
                             id=",".join(batch), retmode="xml", max_tries=100)
      xml_records = handle.read()
      handle.close()
      time.sleep(1)
      
      # 批量获取Medline文本
      handle = Entrez.efetch(db=database, api_key=os.environ['ENTREZ_API_KEY'],
                             id=",".join(batch), rettype="Medline", retmode="text", max_tries=100)
      text_records = Medline.parse(handle)
      for text_record in text_records:
          # 处理单条文本记录
          pass
      handle.close()
      time.sleep(1)
  

• 添加指数退避重试逻辑：手动捕获HTTPError，针对400错误实现指数退避重试（如1s、2s、4s递增间隔），避免短时间内重复请求触发限制。示例：

  from urllib.error import HTTPError
  import time
  
  def fetch_with_retry(db, id, retmode, rettype=None, max_retries=5):
      retries = 0
      while retries < max_retries:
          try:
              handle = Entrez.efetch(db=db, api_key=os.environ['ENTREZ_API_KEY'],
                                     id=id, retmode=retmode, rettype=rettype)
              return handle
          except HTTPError as e:
              if e.code == 400:
                  retries += 1
                  wait_time = 2 ** retries
                  print(f"Bad Request, retrying in {wait_time}s...")
                  time.sleep(wait_time)
              else:
                  raise
      raise Exception(f"Failed after {max_retries} retries")
  

• 过滤无效PMCID：部分返回的PMCID可能已被移除或无法公开访问，导致请求失败。可在请求前验证ID有效性，或捕获错误时直接跳过无效ID。
• 严格遵守NCBI请求限制：带API密钥的请求上限为10次/秒，无密钥为3次/秒。批量请求后保留1-2秒延迟，确保不超过频率限制。

内容的提问来源于stack exchange，提问作者Wasim Aftab