You need to enable JavaScript to run this app. 如何在不修改Python函数的前提下测量其运行时CPU与内存占用?
优惠活动
大模型
产品
解决方案
定价
更多

如何在不修改Python函数的前提下测量其运行时CPU与内存占用?

无侵入式的Python函数资源监控实现

全程不需要修改目标函数的内部代码,仅通过外部调用逻辑配合psutil的进程采样能力,覆盖函数从启动到执行结束的全周期,采集运行期间的CPU、内存数据,最终计算出平均和峰值占用指标。

核心实现逻辑
  • 独立监控线程:开辟低优先级的守护线程做定时采样,不和目标函数的执行流耦合,不会干扰函数本身的运行节奏。
  • 采样数据沉淀:每次采样获取的CPU占比、物理内存值存入独立列表,等目标函数执行完成后统一做统计计算。
  • 指标计算规则:峰值为所有有效采样值的最大值,平均值为所有有效采样值的算术平均。
可直接复用的实现代码
import psutil
import threading
import time
import statistics

class ResourceMonitor:
    def __init__(self, sample_interval=0.1):
        # 采样间隔单位为秒,数值越小精度越高
        self.sample_interval = sample_interval
        self.process = psutil.Process()
        self.cpu_samples = []
        self.mem_samples = []
        self._monitor_thread = None
        self._stop_flag = threading.Event()

    def _sample_loop(self):
        # 跳过首次无效CPU采样:psutil首次调用cpu_percent()时无前后差值参考,返回值无统计意义
        self.process.cpu_percent(interval=None)
        while not self._stop_flag.is_set():
            current_cpu = self.process.cpu_percent(interval=None)
            # 内存取常驻物理内存值,单位转换为MB
            current_mem = self.process.memory_info().rss / (1024 * 1024)
            self.cpu_samples.append(current_cpu)
            self.mem_samples.append(current_mem)
            time.sleep(self.sample_interval)

    def start(self):
        self._monitor_thread = threading.Thread(target=self._sample_loop, daemon=True)
        self._monitor_thread.start()

    def stop(self):
        self._stop_flag.set()
        self._monitor_thread.join()
        # 计算最终统计指标
        avg_cpu = statistics.mean(self.cpu_samples) if self.cpu_samples else 0
        peak_cpu = max(self.cpu_samples) if self.cpu_samples else 0
        avg_mem = statistics.mean(self.mem_samples) if self.mem_samples else 0
        peak_mem = max(self.mem_samples) if self.mem_samples else 0
        return {
            "avg_cpu_percent": round(avg_cpu, 2),
            "peak_cpu_percent": round(peak_cpu, 2),
            "avg_mem_mb": round(avg_mem, 2),
            "peak_mem_mb": round(peak_mem, 2)
        }

# --- 以下为调用示例,全程不改动原有目标函数 ---
def your_prewritten_func():
    # 这里是已编写完成的函数逻辑,不需要做任何修改
    total = 0
    for i in range(10**7):
        total += i
    return total

if __name__ == "__main__":
    monitor = ResourceMonitor(sample_interval=0.1)
    monitor.start()
    # 正常执行原有目标函数即可
    func_result = your_prewritten_func()
    # 执行完成后停止监控,获取资源统计结果
    resource_metrics = monitor.stop()
    print("函数返回值:", func_result)
    print("运行资源统计:", resource_metrics)
落地注意事项
  • 多进程适配:如果目标函数内部会创建子进程,需要在采样循环中遍历同进程组下的所有子进程,累加所有子进程的CPU、内存值后再记录,避免漏算子进程的资源占用。
  • 采样间隔选择:常规业务场景使用0.1s的采样间隔即可,既能捕捉到瞬态CPU峰值,又能把监控本身的系统开销降到可忽略的水平。
  • 异常兼容:监控线程设置为守护线程后,就算目标函数执行中抛出异常导致中断,监控线程也不会阻塞进程退出,已采集到的样本依然可以输出统计值。
  • 测量准确性:不要在目标函数的同步执行流中调用psutil的采样接口,否则采样逻辑本身的耗时会拉长目标函数的运行周期,甚至因为采样带来的CPU负载干扰最终测量结果。

内容的提问来源于stack exchange,提问作者Dan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 03:15:03