You need to enable JavaScript to run this app. 使用Companies House API爬取数据报ConnectionResetError求解决方案
优惠活动
大模型
产品
解决方案
定价
更多

使用Companies House API爬取数据报ConnectionResetError求解决方案

Companies House API批量请求连接重置问题解决建议

核心问题定位

现有代码存在3个核心问题,是触发连接重置错误的主要原因:

  • 速率控制逻辑存在偏差:现有逻辑是request_number > 599时才休眠,实际执行时会累计发送600次请求才触发休眠,刚好触顶官方的5分钟600次限制,且未考虑官方采用的滚动时间窗口速率限制规则,固定间隔休眠的方式容易出现前后两个批次的请求落在同一个滚动窗口内,触发隐藏的连接熔断规则。
  • 无连接异常捕获与重试机制:requests.get调用未做任何异常捕获,一旦出现连接重置、超时等网络波动就直接终止程序,没有重试逻辑。
  • 请求无间隔+连接配置不合理:批量请求无任何间隔,短时间内发起大量TCP连接,触发服务器侧的并发连接限制主动断开连接,且未配置请求超时、自动重试的HTTP适配器。

可行解决方案

1. 调整速率控制逻辑,增加请求小额间隔

将固定批量休眠改为「批量休眠+单次请求小额间隔」的组合策略,既满足5分钟600次的速率要求,也避免短时间请求过于密集:

  • 每批次请求数下调到550次,预留缓冲空间避免触顶
  • 每次请求后增加100~200ms的随机延迟,平滑请求流量
  • 批量休眠时间调整为310秒,避免窗口计算误差

2. 增加异常捕获与自动重试机制

使用requests的HTTPAdapter配置自动重试规则,针对连接重置、超时、5xx状态码、429状态码自动重试,同时捕获运行时异常避免程序直接崩溃。

3. 优化HTTP请求配置

设置合理的请求超时时间,开启连接复用,减少TCP握手开销,降低连接重置概率。

修改后的代码示例

import requests
import pandas as pd
import json
import time
import random
from tqdm import tqdm
from datetime import datetime
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

# 配置重试策略
retry_strategy = Retry(
    total=5,  # 最大重试次数
    backoff_factor=1,  # 重试间隔系数:1,2,4,8秒
    status_forcelist=[429, 500, 502, 503, 504],  # 指定状态码触发重试
    allowed_methods=["GET"],
    raise_on_status=False
)
adapter = HTTPAdapter(max_retries=retry_strategy)
http = requests.Session()
http.mount("https://", adapter)
http.mount("http://", adapter)

# 读取数据
df = pd.read_csv("dir_info.csv", encoding= "utf-8")
dir_ids_0 = df['links.officer.appointments'].tolist()    

# API配置
api_key = "XXXXXXXXXXXXXX"
base_url = "https://api.company-information.service.gov.uk/"

request_number = 0
co_list_a =[]
dir_num_error ={}

for item in tqdm(dir_ids_0):
    # 批量速率控制,预留缓冲空间
    if request_number >= 550:
        print("达到批次请求上限,休眠310秒")
        time.sleep(310)
        request_number = 0
    
    try:
        response = http.get(
            f"{base_url}{item}",
            auth=(api_key,''),
            timeout=30  # 设置30秒超时
        )
        request_number += 1
        
        # 记录请求状态
        dir_num_error[item] = {
            'status_code': response.status_code,
            'timestamp': str(datetime.now()),
            'request_number': request_number
        }
        
        # 遇到429额外休眠
        if response.status_code == 429:
            print("触发速率限制,休眠300秒")
            time.sleep(300)
            request_number = 0
            continue
        
        if response.status_code != 200:
            # 每次请求后加随机小延迟
            time.sleep(random.uniform(0.1, 0.2))
            continue
        
        # 解析返回结果
        data = response.json()
        for co_item in data['items']:
            co_list_a.append(co_item['links']['company'])
        
        # 每次请求后加随机小延迟
        time.sleep(random.uniform(0.1, 0.2))
        
    except Exception as e:
        # 捕获所有连接相关异常,记录后继续执行
        dir_num_error[item] = {
            'error': str(e),
            'timestamp': str(datetime.now()),
            'request_number': request_number
        }
        # 遇到异常额外休息几秒再继续
        time.sleep(5)
        continue

内容的提问来源于stack exchange,提问作者user16439824

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 03:18:04