如何为pandas DataFrame新增列填充外部API响应值（9800行批量场景）

针对9800行的IO密集型API调用场景，直接用apply串行调用效率极低，推荐用参数预拼接+线程池并发+结果映射的方案实现，比串行方式快几十倍，且兼容异常处理、重试逻辑。

步骤1：安装依赖（可选） #

如果需要重试能力，先安装重试库：

pip install tenacity

步骤2：完整代码实现 #

import pandas as pd
from concurrent.futures import ThreadPoolExecutor, as_completed
from tenacity import retry, stop_after_attempt, wait_exponential

# ---------------------- 配置项 ----------------------
# 线程池大小，根据API限流规则调整，避免触发接口封禁
MAX_WORKERS = 20
# ---------------------------------------------------

# 封装API调用逻辑，加3次重试，重试间隔2s/4s/8s递增
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=2, max=10))
def call_api(param: str):
    try:
        # 替换为你自己的API调用逻辑
        return api(param)
    except Exception as e:
        print(f"参数{param}调用失败: {str(e)}")
        # 异常返回None，方便后续排查
        return None

if __name__ == "__main__":
    # 1. 预拼接请求参数
    df["req_param"] = df["User"].str.cat(df["id"], sep=":")

    # 2. 并发调用API，自动去重相同参数避免重复请求
    result_map = {}
    unique_params = df["req_param"].unique().tolist()

    with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
        future_map = {executor.submit(call_api, p): p for p in unique_params}
        for future in as_completed(future_map):
            param = future_map[future]
            try:
                result_map[param] = future.result()
            except Exception as e:
                print(f"参数{param}最终请求失败: {str(e)}")
                result_map[param] = None

    # 3. 结果映射回原DataFrame
    df["user_limit"] = df["req_param"].map(result_map)
    # 删除临时参数列
    df.drop(columns=["req_param"], inplace=True)

方案优势 #

1. 效率高：9800行数据按单接口100ms响应、20并发计算，全程不到1分钟即可跑完，远快于串行调用的15分钟以上耗时
2. 省请求：自动对相同的{User}:{id}参数去重，避免重复调用API浪费资源
3. 稳定性强：自带重试和异常捕获，不会因为个别接口报错中断整体任务，失败请求可后续单独筛选处理

注意事项 #

• 线程数MAX_WORKERS不要设置过高，建议先拿100条数据测试接口限流阈值后再调整
• 如果API需要加请求头、签名、参数加密等逻辑，直接写到call_api函数中即可
• 若你的API支持批量查询，优先用批量接口，效率会比单条并发更高

内容的提问来源于stack exchange，提问作者Raj