Python调用Facebook Graph API批量发通知的HTTP POST请求过慢优化
脚本请求耗时过长的可落地优化方案
当前实现的核心性能瓶颈是完全串行的HTTP请求逻辑:循环内每触发一次reply()调用,都要等待当前POST请求完成TCP连接建立、SSL握手、服务端处理、响应返回的全流程,才会处理下一个用户的通知请求,所有网络等待时间完全叠加,用户量稍大时整体耗时会随用户数线性拉长。可按以下优先级落地优化:
第一优先级:压缩固定网络开销
- 全局复用
requests连接对象,替代每次请求新建连接的逻辑:每次新建连接需要经历3次TCP握手、TLS协商的固定开销,单请求会额外产生200-500ms的无意义等待,用户量上千时总开销会非常明显。 - 提前批量筛选所有符合“无job_title”条件的用户ID,不要在循环里边遍历边触发请求,减少循环内的逻辑跳转损耗。
- 调整原来把
ACCESS_TOKEN拼在请求URL里的写法,改为用requests的params字段传参,避免特殊字符导致的URL编码问题,减少不必要的请求重试。
第二优先级:将串行IO改为受控并发IO
通知请求属于典型的IO密集型任务(90%以上的运行时间都在等待网络响应),可以用线程池做受控并发,注意不能盲目拉高并发数触发Facebook Graph API的速率限制:
- 把原来循环内逐个调用
reply()的逻辑,改为将待发送的用户ID批量提交到线程池 - 将并发数控制在10-20区间(匹配Facebook页面消息接口的默认速率限制,过高会触发限流报错、页面权限被临时封禁)
- 给单条请求增加错误捕获与超时设置,避免单个用户请求失败、网络挂起导致整个脚本中断
后续可拓展优化
- 给消息发送增加本地状态缓存,已经发过通知的用户下次脚本运行时直接跳过,减少重复请求
- 增加失败重试队列,遇到临时网络问题、API限流时自动延迟重试,不需要重新遍历全量用户
优化后的参考实现代码
import json import requests from concurrent.futures import ThreadPoolExecutor, as_completed users_url = "Facebook API to fetch user details" MESSAGE_TO_SEND = "....PLEASE UPDATE JOB TITLE...." ACCESS_TOKEN = "Page_Access_token" # 全局复用HTTP连接,减少TCP/SSL握手的重复开销 http_session = requests.Session() # 按API限制设置合理并发数,避免触发限流 MAX_CONCURRENT = 15 def reply(user_id, msg, access_token): data = { "recipient": { "id": user_id }, "message": { "text": msg } } try: resp = http_session.post( "https://graph.facebook.com/v9.0/me/messages", params={"access_token": access_token}, json=data, timeout=10 ) resp.raise_for_status() print(f"Message Sent to : {user_id}") return True except Exception as e: print(f"Send failed for {user_id}, error: {str(e)}") return False def header(access_token): return {'Authorization': 'Bearer ' + access_token} def user_data(access_token): headers = header(access_token) data = http_session.get(users_url, headers=headers, timeout=15) result_json = json.loads(data.text) resources = result_json['Resources'] # 一次性筛选出所有需要发通知的用户ID,不边遍历边发 target_user_ids = [ str(item['id']) for item in resources if 'title' not in item ] print(f"Total target users: {len(target_user_ids)}") # 用线程池做受控并发发送 with ThreadPoolExecutor(max_workers=MAX_CONCURRENT) as executor: future_map = { executor.submit(reply, uid, MESSAGE_TO_SEND, access_token): uid for uid in target_user_ids } for future in as_completed(future_map): future.result() if __name__ == "__main__": user_data(ACCESS_TOKEN)
注:如果待通知的用户量超过1万,可以进一步将线程池替换为异步IO模型(比如
aiohttp),相同并发数下能比线程池再降低30%-40%的整体耗时,但仍需严格控制请求速率,避免被API端封禁。
内容的提问来源于stack exchange,提问作者user14907810
相关产品推荐
相关产品推荐

