Python循环测试变量范围并筛选最优变量组合的方法求助

问题描述 #

我是Python新手，写了一段从多个API拉取数据并做统计运算的代码，代码依赖几个静态变量，最终返回一个验证模型正确性的result_number。现在想给每个变量设置数值范围（比如variable_1取-0.004到0.004，步长0.001），遍历所有变量组合运行代码，找出返回值最高的前10个result_number。

代码示例：

# 我想测试variable_1在-0.004到0.004之间，步长0.001，其他变量同理，最终找出前10个最高的result_number
variable_1 = 0.004
variable_2 = 0.005
variable_3 = 30
result_number = 0

def my_code():
    global variable_1, variable_2, variable_3
    # 执行所有用到这些变量的运算
    return result_number

另外，代码运行一次要耗时数小时，需要高效的实现思路。

实现思路 #

1. 先重构代码，去掉全局变量 #

把my_code改成参数传入的形式，避免全局变量的混乱，也方便批量调用：

def my_code(variable_1, variable_2, variable_3):
    # 原来的运算逻辑，直接用传入的参数
    result_number = 0  # 替换成实际运算后的结果
    return result_number

2. 生成所有变量组合 #

用itertools.product生成变量的笛卡尔积，先定义每个变量的取值范围：

import itertools

# 生成每个变量的取值列表（按需调整范围和步长）
var1_range = [round(-0.004 + i * 0.001, 3) for i in range(9)]  # -0.004到0.004共9个值
var2_range = [round(-0.005 + i * 0.001, 3) for i in range(11)]  # 示例范围，按需修改
var3_range = list(range(20, 41))  # 示例整数范围，按需修改

# 生成所有变量组合
all_combinations = itertools.product(var1_range, var2_range, var3_range)

⚠️ 注意：如果变量数量多、取值范围大，组合数会指数级增长（比如3个变量各10个值就是1000组合，10个变量就是10^10，完全跑不完），先评估组合数，太大就换优化算法，别暴力遍历。

3. 高效记录前10高结果 #

不用存储所有结果（占内存），用heapq的小顶堆维护前10个最大值，堆里始终只保留最大的10个值：

import heapq

top_10 = []

for combo in all_combinations:
    v1, v2, v3 = combo
    res = my_code(v1, v2, v3)
    # 堆未满直接加入
    if len(top_10) < 10:
        heapq.heappush(top_10, (res, combo))
    else:
        # 比堆中最小值大，就替换
        if res > top_10[0][0]:
            heapq.heappop(top_10)
            heapq.heappush(top_10, (res, combo))

# 按结果从大到小排序输出
top_10_sorted = sorted(top_10, key=lambda x: -x[0])
for idx, (res, combo) in enumerate(top_10_sorted, 1):
    print(f"第{idx}名: result_number={res}, 变量组合={combo}")

4. 优化运行速度 #

• 并行计算：用concurrent.futures把任务分给多个CPU核心，适合API调用或CPU密集型运算：

  from concurrent.futures import ProcessPoolExecutor
  
  def process_combo(combo):
      v1, v2, v3 = combo
      return (my_code(v1, v2, v3), combo)
  
  top_10 = []
  with ProcessPoolExecutor() as executor:
      for result in executor.map(process_combo, all_combinations):
          res, combo = result
          if len(top_10) < 10:
              heapq.heappush(top_10, (res, combo))
          else:
              if res > top_10[0][0]:
                  heapq.heappop(top_10)
                  heapq.heappush(top_10, (res, combo))
  

  注意：API调用要避免触发限流，可加延迟或控制并发数。
• 缓存重复数据：如果多次调用会拉取相同API数据，用functools.lru_cache（参数需可哈希）或本地文件缓存，减少重复请求。
• 先粗后细遍历：先用大步长找到大致最优区间，再缩小范围用小步长遍历，减少总运算次数。
• 改用启发式算法：组合数过大时，放弃暴力遍历，用遗传算法、粒子群优化这类算法，Python可借助deap、pyswarms库实现。

内容的提问来源于stack exchange，提问作者PythonNoob