如何在不修改Python函数的前提下测量其运行时CPU与内存占用?
无侵入式的Python函数资源监控实现
全程不需要修改目标函数的内部代码,仅通过外部调用逻辑配合psutil的进程采样能力,覆盖函数从启动到执行结束的全周期,采集运行期间的CPU、内存数据,最终计算出平均和峰值占用指标。
核心实现逻辑
- 独立监控线程:开辟低优先级的守护线程做定时采样,不和目标函数的执行流耦合,不会干扰函数本身的运行节奏。
- 采样数据沉淀:每次采样获取的CPU占比、物理内存值存入独立列表,等目标函数执行完成后统一做统计计算。
- 指标计算规则:峰值为所有有效采样值的最大值,平均值为所有有效采样值的算术平均。
可直接复用的实现代码
import psutil import threading import time import statistics class ResourceMonitor: def __init__(self, sample_interval=0.1): # 采样间隔单位为秒,数值越小精度越高 self.sample_interval = sample_interval self.process = psutil.Process() self.cpu_samples = [] self.mem_samples = [] self._monitor_thread = None self._stop_flag = threading.Event() def _sample_loop(self): # 跳过首次无效CPU采样:psutil首次调用cpu_percent()时无前后差值参考,返回值无统计意义 self.process.cpu_percent(interval=None) while not self._stop_flag.is_set(): current_cpu = self.process.cpu_percent(interval=None) # 内存取常驻物理内存值,单位转换为MB current_mem = self.process.memory_info().rss / (1024 * 1024) self.cpu_samples.append(current_cpu) self.mem_samples.append(current_mem) time.sleep(self.sample_interval) def start(self): self._monitor_thread = threading.Thread(target=self._sample_loop, daemon=True) self._monitor_thread.start() def stop(self): self._stop_flag.set() self._monitor_thread.join() # 计算最终统计指标 avg_cpu = statistics.mean(self.cpu_samples) if self.cpu_samples else 0 peak_cpu = max(self.cpu_samples) if self.cpu_samples else 0 avg_mem = statistics.mean(self.mem_samples) if self.mem_samples else 0 peak_mem = max(self.mem_samples) if self.mem_samples else 0 return { "avg_cpu_percent": round(avg_cpu, 2), "peak_cpu_percent": round(peak_cpu, 2), "avg_mem_mb": round(avg_mem, 2), "peak_mem_mb": round(peak_mem, 2) } # --- 以下为调用示例,全程不改动原有目标函数 --- def your_prewritten_func(): # 这里是已编写完成的函数逻辑,不需要做任何修改 total = 0 for i in range(10**7): total += i return total if __name__ == "__main__": monitor = ResourceMonitor(sample_interval=0.1) monitor.start() # 正常执行原有目标函数即可 func_result = your_prewritten_func() # 执行完成后停止监控,获取资源统计结果 resource_metrics = monitor.stop() print("函数返回值:", func_result) print("运行资源统计:", resource_metrics)
落地注意事项
- 多进程适配:如果目标函数内部会创建子进程,需要在采样循环中遍历同进程组下的所有子进程,累加所有子进程的CPU、内存值后再记录,避免漏算子进程的资源占用。
- 采样间隔选择:常规业务场景使用0.1s的采样间隔即可,既能捕捉到瞬态CPU峰值,又能把监控本身的系统开销降到可忽略的水平。
- 异常兼容:监控线程设置为守护线程后,就算目标函数执行中抛出异常导致中断,监控线程也不会阻塞进程退出,已采集到的样本依然可以输出统计值。
- 测量准确性:不要在目标函数的同步执行流中调用psutil的采样接口,否则采样逻辑本身的耗时会拉长目标函数的运行周期,甚至因为采样带来的CPU负载干扰最终测量结果。
内容的提问来源于stack exchange,提问作者Dan
相关产品推荐
相关产品推荐

