如何加速pandas DataFrame逐行POST请求，求threading实现示例

可以用多线程方案大幅提升处理效率。你的场景属于典型的IO密集型任务，绝大多数耗时是在等待POST请求的网络响应，CPU处于闲置状态，多线程可以同时发起多个请求、利用等待空闲时间处理其他任务，效率远高于串行for循环。

• 控制并发线程数：建议设置在10~50区间，不要开过高，避免压垮目标接口，或是导致本地端口被占满触发报错，可根据目标接口的限流规则灵活调整
• 增加异常捕获逻辑：避免单条请求报错导致整个线程终止，影响其他请求处理
• 可选添加重试机制：针对网络波动、接口限流等临时报错场景，可增加重试逻辑提升请求成功率
• 推荐使用concurrent.futures.ThreadPoolExecutor实现：无需手动管理线程的创建、销毁，代码更简洁易维护

import pandas as pd
import requests
from concurrent.futures import ThreadPoolExecutor
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

# 配置请求重试（可选，按需使用）
def create_session():
    session = requests.Session()
    retry = Retry(
        total=3,  # 总共重试3次
        read=3,
        connect=3,
        backoff_factor=1,  # 重试间隔：1s, 2s, 4s...
        status_forcelist=[500, 502, 503, 504, 429]
    )
    adapter = HTTPAdapter(max_retries=retry)
    session.mount("http://", adapter)
    session.mount("https://", adapter)
    return session

session = create_session()
API_URL = "替换成你的POST请求接口地址"

# 单条请求处理逻辑
def process_row(row_data):
    try:
        # row_data 已经是符合要求的字典格式：{'id': xx, 'info': xx, 'cost': xx}
        resp = session.post(API_URL, json=row_data, timeout=10)
        resp.raise_for_status()  # 接口返回4xx/5xx时抛出异常
        return (row_data['id'], "success", resp.text)
    except Exception as e:
        return (row_data['id'], "fail", str(e))

if __name__ == "__main__":
    # 读取你的DataFrame，这里替换成你自己的df读取逻辑
    # df = pd.read_csv("your_file.csv")
    # 直接生成符合要求的字典列表，无需手动逐行构造
    df_records = df.to_dict("records")
    
    # 最大并发数设为20，可根据实际情况调整
    MAX_WORKERS = 20
    success_count = 0
    fail_count = 0
    fail_records = []

    with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
        # 批量提交任务，遍历返回结果
        for result in executor.map(process_row, df_records):
            row_id, status, msg = result
            if status == "success":
                success_count +=1
            else:
                fail_count +=1
                fail_records.append((row_id, msg))
    
    # 输出统计结果
    print(f"处理完成：共{len(df_records)}条，成功{success_count}条，失败{fail_count}条")
    if fail_count > 0:
        print("失败记录id及报错：", fail_records)

上述代码直接调用df.to_dict('records')即可生成你需要的请求体格式，无需手动逐行提取字段构造。如果需要更高的并发量级，也可以考虑用asyncio+aiohttp的异步方案，但多线程方案改造成本更低，对于1万多条的请求量完全足够。

内容的提问来源于stack exchange，提问作者Alex Nikitin