You need to enable JavaScript to run this app. Python for循环优化 提升批量XML POST请求执行效率
优惠活动
大模型
产品
解决方案
定价
更多

Python for循环优化 提升批量XML POST请求执行效率

现有代码核心问题拆解
  • 逻辑存在硬bug:判断用户状态的if db_users[1] == 'NOT_READY'写在循环外,此时db_users是for循环最后一次遍历的元素,并非目标用户的状态,判断结果完全不可靠
  • 冗余操作过多:逐行遍历查询结果攒三个列表(skill_id/agent_state/agent_name),但后续仅用到了列表的第一个元素,相当于对全量查询结果做了无意义的循环遍历,额外消耗时间
  • Session使用方式错误:之前尝试创建Session但提速无效,本质是实际请求仍然走的是全局requests.request()方法,Session的连接池复用、TLS会话缓存、证书复用能力完全没生效,每个请求都要重新做TCP握手、TLS校验、客户端证书加载,这部分耗时占总27秒运行时长的90%以上
  • 资源泄漏风险:读取XML文件没有用上下文管理器,存在文件句柄未正确释放的问题
  • 异常捕获不规范:数据库错误仅打印提示就直接退出,没有保留堆栈信息;HTTP请求没有捕获超时、连接失败、状态码异常的场景,一旦中断完全无法定位问题
  • 输出逻辑失效:print(r.text)和print(r.elapsed)写在循环外,仅能打印最后一次请求的结果,前面所有请求的状态完全不可见
可落地的优化方向
  • 简化数据库流程:不需要攒列表,直接从查询结果的第一条取目标用户的字段,状态不符合要求直接退出,不要提前拉取全量技能组数据
  • 正确配置Session:把公共的请求头、CA证书路径、客户端证书一次性绑定到Session对象上,给Session配置连接池参数和自动重试策略,真正实现TLS连接复用,不用每次请求重复做加密握手
  • 文件读取改用上下文管理器,避免资源泄漏
  • 按需补全异常捕获逻辑,每个请求单独打状态日志,方便排查问题
  • 后续如果仍有提速需求,因为批量XML请求是IO密集型场景,可以用线程池做3-5个并发,不要盲目开高并发打挂目标接口
优化后的参考实现
import requests
import pyodbc
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

# 统一管理配置项,避免硬编码分散在逻辑里
BASE_CONFIG = {
    "target_url": "https://url_of_post",
    "ca_cert_path": r"CAchain.pem",
    "client_cert": (r"cert.cer", r"cert.key"),
    "common_headers": {
        "Content-Type": "application/xml",
        "Authorization": "Basic Q2hhZF9NZXllckBhamcuY29tOmNpc2Nv",
    }
}

def batch_remove_skill():
    # 数据库连接用上下文管理器,自动释放连接
    with pyodbc.connect("你的实际数据库连接串") as db_conn:
        cursor = db_conn.cursor()
        # 拉取目标用户数据
        cursor.execute("你的用户查询SQL")
        user_rows = cursor.fetchall()
        if not user_rows:
            print("未查询到有效用户数据")
            return
        # 直接取第一条用户数据,不需要循环攒列表
        target_skill_id, target_state, target_name = user_rows[0][0], user_rows[0][1], user_rows[0][2]
        if target_state != "NOT_READY":
            print(f"用户{target_name}当前状态为{target_state},无需执行技能移除操作")
            return
        # 状态匹配后再查关联技能组
        try:
            cursor.execute("你的技能组查询SQL")
            skill_groups = [row[0] for row in cursor.fetchall()]
        except pyodbc.Error as e:
            print(f"查询技能组数据失败:{str(e)}")
            return

    # 读取XML模板,上下文管理器自动关文件
    with open("skill_remove.xml", "r", encoding="utf-8") as f:
        xml_template = f.read()

    # 初始化带连接池、重试能力的Session,这是提速的核心
    req_session = requests.Session()
    req_session.headers.update(BASE_CONFIG["common_headers"])
    req_session.verify = BASE_CONFIG["ca_cert_path"]
    req_session.cert = BASE_CONFIG["client_cert"]
    # 配置连接池与重试规则
    retry_rule = Retry(total=3, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
    conn_adapter = HTTPAdapter(max_retries=retry_rule, pool_connections=10, pool_maxsize=10)
    req_session.mount("https://", conn_adapter)
    req_session.mount("http://", conn_adapter)

    # 循环发起请求,不再重复传公共参数
    for sg_id in skill_groups:
        request_body = xml_template.format(
            agent=str(target_skill_id),
            skill_urls=f"<refURL>/unifiedconfig/config/skillgroup/{sg_id}</refURL>"
        )
        try:
            resp = req_session.post(BASE_CONFIG["target_url"], data=request_body, timeout=10)
            resp.raise_for_status()
            print(f"技能组{sg_id}操作成功,单请求耗时{resp.elapsed.total_seconds():.2f}s")
        except Exception as e:
            print(f"技能组{sg_id}操作失败:{str(e)}")

if __name__ == "__main__":
    batch_remove_skill()

内容的提问来源于stack exchange,提问作者Chad

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 00:45:03