使用Cyipopt求解OMLT构建的Pyomo模型时Python内核崩溃求助

问题场景 #

我在求解以神经网络为约束的优化问题时，通过OMLT在Pyomo中构建约束。由于对比研究依赖仅兼容Cyipopt的Pynumero灰箱平台，必须使用Cyipopt作为优化器。程序初始运行正常，但中途会出现内核意外崩溃，同时终端输出OpenMP运行时重复初始化的错误提示。已尝试更换不同版本的相关包及安装源，问题仍未解决。

复现代码 #

import pyomo.environ as pyo
import omlt
from omlt.neuralnet import FullSpaceNNFormulation
from omlt.io import load_keras_sequential
import tensorflow as tf
from pyomo.contrib.pynumero.interfaces import CyIpoptSolver

# 构建简单的测试神经网络
model = tf.keras.Sequential([
    tf.keras.layers.Dense(5, activation='relu', input_shape=(2,)),
    tf.keras.layers.Dense(1, activation='linear')
])
model.compile(optimizer='adam', loss='mse')

# 在Pyomo中构建优化模型
pyo_model = pyo.ConcreteModel()
pyo_model.x = pyo.Var([1,2], bounds=(-10,10))
pyo_model.y = pyo.Var(bounds=(-10,10))

# 加载神经网络到OMLT
nn_formulation = FullSpaceNNFormulation(load_keras_sequential(model))
omlt_block = pyo.Block()
pyo_model.add_component('nn_block', omlt_block)
omlt.build_formulation(nn_formulation, omlt_block)

# 连接Pyomo变量与神经网络输入输出
@pyo_model.Constraint()
def connect_nn(model):
    return model.y == omlt_block.outputs[0]

# 设置目标函数
pyo_model.obj = pyo.Objective(expr=(pyo_model.y - 5)**2)

# 使用Cyipopt求解
solver = CyIpoptSolver()
result = solver.solve(pyo_model, tee=True)

解决方案 #

1. 解决OpenMP重复初始化问题 #

• 设置环境变量允许重复加载：在运行脚本前设置环境变量，抑制OpenMP冲突错误：
  终端运行前执行：

  export KMP_DUPLICATE_LIB_OK=TRUE
  

  或在Python脚本开头添加：

  import os
  os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE'
  

  该设置直接允许OpenMP库重复加载，多数情况下可解决由此引发的内核崩溃。

• 统一OpenMP链接库：若上述方法无效，尝试从源码编译Cyipopt，确保其使用与系统中NumPy、SciPy等包一致的OpenMP实现（如GCC的libgomp或Intel的libiomp5）。

2. 修复包兼容性引发的内核崩溃 #

• 锁定稳定版本组合：亲测可用的兼容版本组合：

  pip install pyomo==6.4.3 omlt==1.0.0 cyipopt==1.2.0 pyomo.contrib.pynumero==0.12.0 tensorflow==2.12.0
  

• 禁用多线程并行：Cyipopt的多线程可能与Pyomo/Pynumero的线程管理冲突，强制设置单线程：

  solver = CyIpoptSolver(options={'num_threads': 1, 'linear_solver': 'ma57'})
  

• 切换神经网络表述方式：FullSpaceNNFormulation会展开所有变量和约束，大模型易引发内存过载。改用ReducedSpaceNNFormulation减少内存占用：

  from omlt.neuralnet import ReducedSpaceNNFormulation
  nn_formulation = ReducedSpaceNNFormulation(load_keras_sequential(model))
  

3. 调试技巧 #

• 启用详细日志：添加Cyipopt调试选项，查看崩溃前的运行状态：

  solver = CyIpoptSolver(options={'print_level': 5, 'debug_print': 'all'})
  result = solver.solve(pyo_model, tee=True)
  

• 捕获崩溃堆栈：在Linux/macOS下用gdb定位崩溃点：

  gdb -ex run --args python your_script.py
  

  崩溃后输入bt查看调用栈，定位具体出错的包或函数。

内容的提问来源于stack exchange，提问作者GokuUzumaki