使用exchangelib爬取邮件遇EWS限流ErrorServerBusy的解决问询

我正在尝试构建一个包含所有邮件的数据库，但遇到了ErrorServerBusy错误：

'The server cannot service this request right now. Try again later.'

单月邮件可正常爬取，但超出未知阈值后就会中断。请问如何适配EWS的限流策略？还有哪些避免限流的方法？我考虑过实现time.sleep()，但如何确定爬取多少邮件后需要等待多久才能正常运行？

附相关代码：

shared_postboxes= [some accounts here]
credentials = Credentials(username=my username, password=my password)
config = Configuration(retry_policy=FaultTolerance(max_wait=600), credentials=credentials)

for shared_postbox in tqdm(shared_postboxes):

    account = Account(shared_postbox, credentials=credentials, autodiscover=True)
    top_folder = account.root
    email_folders = [f for f in top_folder.walk() if isinstance(f, Messages)]

    for folder in tqdm(email_folders):
    
        for m in folder.all().only('text_body', 'datetime_received','sender').filter(datetime_received__range=(start_of_month,end_of_month), sender__exists=True).order_by('-datetime_received'):
        
            try: 
                senderdomain = ExtractingDomain(m.sender.email_address)
            
            except:
                print("could not extract domain")
        
            else:
                if senderdomain in domains_of_interest: 

                    postboxname = account.identity.primary_smtp_address
                    body = m.text_body
                    emails.append(body)
                    senders.append(senderdomain)
                    postbox.append(postboxname)
                    received.append(m.datetime_received)
    account.protocol.close()

一、适配EWS限流策略的核心方法 #

EWS限流基于请求频率和资源占用，无公开固定阈值，可通过以下方式适配：

• 优化内置重试策略参数：已使用FaultTolerance，可调整max_wait和backoff_factor开启指数退避，让重试间隔随失败次数递增，避免持续触发限流：

  config = Configuration(
      retry_policy=FaultTolerance(
          max_wait=1200,  # 延长最大等待时间至20分钟
          backoff_factor=2  # 指数退避，每次重试间隔翻倍
      ),
      credentials=credentials
  )
  

• 利用响应头的精准重试提示：ErrorServerBusy异常的响应头通常包含Retry-After字段，可提取该值做精准等待：

  from exchangelib.errors import ErrorServerBusy
  import time
  
  # 在邮件处理循环中添加异常捕获
  try:
      # 原邮件处理逻辑
      senderdomain = ExtractingDomain(m.sender.email_address)
  except ErrorServerBusy as e:
      retry_after = int(e.response.headers.get('Retry-After', 60))  # 默认等待60秒
      time.sleep(retry_after)
      # 重新执行当前邮件的处理逻辑
  

二、避免限流的实用方法 #

• 批量请求替代单条遍历：用bulk_get批量拉取邮件属性，减少请求次数：

  # 先批量获取邮件ID，再批量拉取所需属性
  mail_query = folder.all().only('id').filter(datetime_received__range=(start_of_month,end_of_month), sender__exists=True).order_by('-datetime_received')
  mail_ids = [m.id for m in mail_query]
  batch_mails = account.bulk_get(items=mail_ids, properties=['text_body', 'datetime_received','sender'])
  
  for m in batch_mails:
      # 原处理逻辑不变
  

• 缩小请求范围：
  • 拆分时间窗口，从单月拆为每周/每天，避免单次请求处理过多数据
  • 保留服务器端过滤（现有filter逻辑），不要拉取全量邮件后本地过滤，减少数据传输量
• 控制请求频率：
  • 串行处理共享邮箱，避免同一账号同时发起大量请求
  • 每处理一定数量邮件后添加固定等待，比如每处理100封等待5秒：

    count = 0
    for m in ...:
        count += 1
        # 原处理逻辑
        if count % 100 == 0:
            time.sleep(5)
    

• 复用连接：避免每次处理邮箱都重建Account，复用Protocol连接减少服务器压力：

  # 提前创建并复用协议连接
  protocol = Protocol(config=config)
  protocol.autodiscover()
  
  for shared_postbox in tqdm(shared_postboxes):
      account = Account(shared_postbox, protocol=protocol)
      # 后续处理逻辑
  
  protocol.close()
  

三、关于time.sleep()的阈值确定 #

无固定数值，建议通过测试调整：

• 从保守值开始，比如每处理50封等待3秒，观察是否触发限流
• 若仍触发，逐步增加等待时间或减少每批次处理量
• 结合Retry-After字段的动态值做等待，这是最精准的方式

内容的提问来源于stack exchange，提问作者Lehas123