Python for循环优化 提升批量XML POST请求执行效率
现有代码核心问题拆解
- 逻辑存在硬bug:判断用户状态的
if db_users[1] == 'NOT_READY'写在循环外,此时db_users是for循环最后一次遍历的元素,并非目标用户的状态,判断结果完全不可靠 - 冗余操作过多:逐行遍历查询结果攒三个列表(skill_id/agent_state/agent_name),但后续仅用到了列表的第一个元素,相当于对全量查询结果做了无意义的循环遍历,额外消耗时间
- Session使用方式错误:之前尝试创建Session但提速无效,本质是实际请求仍然走的是全局
requests.request()方法,Session的连接池复用、TLS会话缓存、证书复用能力完全没生效,每个请求都要重新做TCP握手、TLS校验、客户端证书加载,这部分耗时占总27秒运行时长的90%以上 - 资源泄漏风险:读取XML文件没有用上下文管理器,存在文件句柄未正确释放的问题
- 异常捕获不规范:数据库错误仅打印提示就直接退出,没有保留堆栈信息;HTTP请求没有捕获超时、连接失败、状态码异常的场景,一旦中断完全无法定位问题
- 输出逻辑失效:
print(r.text)和print(r.elapsed)写在循环外,仅能打印最后一次请求的结果,前面所有请求的状态完全不可见
可落地的优化方向
- 简化数据库流程:不需要攒列表,直接从查询结果的第一条取目标用户的字段,状态不符合要求直接退出,不要提前拉取全量技能组数据
- 正确配置Session:把公共的请求头、CA证书路径、客户端证书一次性绑定到Session对象上,给Session配置连接池参数和自动重试策略,真正实现TLS连接复用,不用每次请求重复做加密握手
- 文件读取改用上下文管理器,避免资源泄漏
- 按需补全异常捕获逻辑,每个请求单独打状态日志,方便排查问题
- 后续如果仍有提速需求,因为批量XML请求是IO密集型场景,可以用线程池做3-5个并发,不要盲目开高并发打挂目标接口
优化后的参考实现
import requests import pyodbc from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry # 统一管理配置项,避免硬编码分散在逻辑里 BASE_CONFIG = { "target_url": "https://url_of_post", "ca_cert_path": r"CAchain.pem", "client_cert": (r"cert.cer", r"cert.key"), "common_headers": { "Content-Type": "application/xml", "Authorization": "Basic Q2hhZF9NZXllckBhamcuY29tOmNpc2Nv", } } def batch_remove_skill(): # 数据库连接用上下文管理器,自动释放连接 with pyodbc.connect("你的实际数据库连接串") as db_conn: cursor = db_conn.cursor() # 拉取目标用户数据 cursor.execute("你的用户查询SQL") user_rows = cursor.fetchall() if not user_rows: print("未查询到有效用户数据") return # 直接取第一条用户数据,不需要循环攒列表 target_skill_id, target_state, target_name = user_rows[0][0], user_rows[0][1], user_rows[0][2] if target_state != "NOT_READY": print(f"用户{target_name}当前状态为{target_state},无需执行技能移除操作") return # 状态匹配后再查关联技能组 try: cursor.execute("你的技能组查询SQL") skill_groups = [row[0] for row in cursor.fetchall()] except pyodbc.Error as e: print(f"查询技能组数据失败:{str(e)}") return # 读取XML模板,上下文管理器自动关文件 with open("skill_remove.xml", "r", encoding="utf-8") as f: xml_template = f.read() # 初始化带连接池、重试能力的Session,这是提速的核心 req_session = requests.Session() req_session.headers.update(BASE_CONFIG["common_headers"]) req_session.verify = BASE_CONFIG["ca_cert_path"] req_session.cert = BASE_CONFIG["client_cert"] # 配置连接池与重试规则 retry_rule = Retry(total=3, backoff_factor=1, status_forcelist=[500, 502, 503, 504]) conn_adapter = HTTPAdapter(max_retries=retry_rule, pool_connections=10, pool_maxsize=10) req_session.mount("https://", conn_adapter) req_session.mount("http://", conn_adapter) # 循环发起请求,不再重复传公共参数 for sg_id in skill_groups: request_body = xml_template.format( agent=str(target_skill_id), skill_urls=f"<refURL>/unifiedconfig/config/skillgroup/{sg_id}</refURL>" ) try: resp = req_session.post(BASE_CONFIG["target_url"], data=request_body, timeout=10) resp.raise_for_status() print(f"技能组{sg_id}操作成功,单请求耗时{resp.elapsed.total_seconds():.2f}s") except Exception as e: print(f"技能组{sg_id}操作失败:{str(e)}") if __name__ == "__main__": batch_remove_skill()
内容的提问来源于stack exchange,提问作者Chad
相关产品推荐
相关产品推荐

