循环调用DBPedia SPARQL遇URLError [WinError 10060]问题求助

问题本质 #

WinError 10060是网络连接超时，核心诱因包括：

• 短时间高频请求触发DBPedia限流机制
• 超时参数单位混淆导致设置不合理
• 异常捕获范围不全，漏抓URLError类网络错误
• 频繁新建TCP连接耗尽网络资源

针对性解决方案 #

1. 增加请求间隔，避免触发限流 #

在请求前后添加随机延迟，模拟正常访问节奏：

import time
import random
from urllib.error import URLError

def generate_candidates(mention, group):
    query = build_query(mention, group)
    sparql.setQuery(query)
    sparql.setTimeout(20)  # 注意：单位是秒，设为20秒足够
    for i in range(3):
        try:
            results = sparql.query().convert()
            # 成功后加1-2秒随机延迟
            time.sleep(random.uniform(1, 2))
            return results
        except (TimeoutError, URLError) as e:
            # 重试前加短延迟，避免立刻重试加剧问题
            time.sleep(0.5)
            continue
    return None

2. 扩展异常捕获范围 #

原代码仅处理TimeoutError，但URLError是独立异常，需显式捕获才能触发重试。若使用SPARQLWrapper，还可添加其专属异常：

from SPARQLWrapper import SPARQLWrapperException

# 修改异常捕获逻辑
except (TimeoutError, URLError, SPARQLWrapperException) as e:
    print(f"第{i+1}次重试，错误：{str(e)}")
    time.sleep(0.5)

3. 修正超时参数的单位误区 #

SPARQLWrapper的setTimeout()参数单位是秒，原代码设置1000意味着超时时间为1000秒，完全不合理。建议设置为10-30秒的合理范围，避免连接长时间挂起触发系统层面的10060错误。

4. 批量查询减少请求次数 #

将多个mention合并为单次查询，用VALUES子句批量请求，从根源降低总请求量：

修改后的查询模板

SELECT DISTINCT ?mention ?item ?name ?page WHERE {{
    VALUES ?mention_str {mention_values}
    {{
        ?item rdfs:label ?mention_str@en .
        BIND(?mention_str AS ?mention)
    }}
    UNION
    {{
        ?temp rdfs:label ?mention_str@en .
        ?temp dbo:wikiPageRedirects ?item .   
        BIND(?mention_str AS ?mention)
    }}
    UNION
    {{
        <http://dbpedia.org/resource/?mention_str_(disambiguation)> dbo:wikiPageDisambiguates ?item.
        BIND(?mention_str AS ?mention)
    }}
    UNION
    {{
        <http://dbpedia.org/resource/?mention_str> dbo:wikiPageDisambiguates ?item .
        BIND(?mention_str AS ?mention)
    }}
    ?item rdf:type {group} .
    ?item foaf:isPrimaryTopicOf ?page .
    ?item rdfs:label ?name .
    FILTER (langMatches(lang(?name),"en"))
}}

批量请求代码

def batch_generate_candidates(mentions, group):
    # 生成VALUES子句内容，格式为("mention1" "mention2" ...)
    mention_values = " ".join([f'"{m}"' for m in mentions])
    query = build_batch_query(mention_values, group)
    sparql.setQuery(query)
    sparql.setTimeout(30)
    try:
        results = sparql.query().convert()
        # 按mention分组返回结果
        grouped = {}
        for res in results["results"]["bindings"]:
            mention = res["mention"]["value"]
            grouped.setdefault(mention, []).append(res)
        return grouped
    except (TimeoutError, URLError, SPARQLWrapperException) as e:
        print(f"批量查询失败：{str(e)}")
        return None

原本1500次请求可合并为10-20次批量请求，大幅降低限流风险。

5. 复用HTTP会话减少连接开销 #

全局初始化一次SPARQLWrapper并复用会话，避免每次请求新建TCP连接：

import requests
from SPARQLWrapper import SPARQLWrapper, JSON

# 全局初始化，仅执行一次
sparql = SPARQLWrapper("http://dbpedia.org/sparql")
sparql.setReturnFormat(JSON)
# 开启会话保持
sparql.session = requests.Session()

总结 #

优先采用批量查询和请求限流，从根源解决高频请求导致的限流问题；同时修正超时参数、完善异常捕获，确保重试机制覆盖所有网络异常场景。

内容的提问来源于stack exchange，提问作者Anusha Ali