C# WinForm调用Python多进程启动多实例及AppDomain报错问题

环境说明 #

• 基于Python.Runtime 3.0.3的pythonnet（Visual Studio 2022开发WinForm应用）
• Python脚本：adfuller_test.py

异常现象 #

1. Python多进程调用异常：直接在CMD运行Python脚本可正常执行，但通过C#调用Python中使用concurrent.futures.ProcessPoolExecutor的adfuller_engle_granger_multicore方法时，会启动与CPU核心数相同的WinForm新实例，且函数无返回结果。
2. 多AppDomain并行错误：尝试通过多AppDomain执行任务时，触发错误：System.ArgumentException: 'Cannot pass a GCHandle across AppDomains.'，错误发生在调用Python函数的代码行。

解决ProcessPoolExecutor导致WinForm实例重复启动的问题 #

Python的ProcessPoolExecutor会创建子进程，而C#托管的Python环境中，子进程会继承父进程的WinForm应用上下文，导致重新启动WinForm实例。解决思路是隔离子进程的执行上下文：

1. 修改Python脚本，分离多进程逻辑
   让子进程仅执行纯计算逻辑，避免继承C#的WinForm上下文，同时添加主进程判断：

   from concurrent.futures import ProcessPoolExecutor
   import multiprocessing
   from statsmodels.tsa.stattools import adfuller
   
   # 仅包含纯计算的任务函数
   def adfuller_task(data):
       result = adfuller(data)
       return result
   
   def adfuller_engle_granger_multicore(data_list):
       # 确保子进程正确初始化
       multiprocessing.freeze_support()
       with ProcessPoolExecutor() as executor:
           results = list(executor.map(adfuller_task, data_list))
       return results
   
   # 仅直接运行脚本时执行测试，避免C#调用时触发额外逻辑
   if __name__ == "__main__":
       test_data = [[1,2,3,4,5], [6,7,8,9,10]]
       print(adfuller_engle_granger_multicore(test_data))
   

2. C#端控制Python初始化范围
   仅在主WinForm进程中初始化Python.Runtime，子进程由Python独立管理，无需重复初始化：

   private void Form1_Load(object sender, EventArgs e)
   {
       // 主进程仅初始化一次Python引擎
       PythonEngine.Initialize();
   }
   
   private void btnRun_Click(object sender, EventArgs e)
   {
       using (Py.GIL())
       {
           dynamic adfullerModule = Py.Import("adfuller_test");
           var dataList = new List<List<double>> { new List<double> {1,2,3,4,5}, new List<double> {6,7,8,9,10} };
           dynamic pyDataList = dataList.ToPython();
           var results = adfullerModule.adfuller_engle_granger_multicore(pyDataList);
           // 处理返回结果
       }
   }
   
   private void Form1_FormClosed(object sender, FormClosedEventArgs e)
   {
       PythonEngine.Shutdown();
   }
   

解决多AppDomain的GCHandle跨域问题 #

Python.Runtime的对象依赖当前AppDomain的GCHandle，无法跨域传递。推荐两种替代方案：

1. 改用C# Task结合Python多线程（IO密集型场景）
   若任务是IO密集型，可通过Task.Run启动多个Python线程（注意Python GIL对CPU密集型任务的限制），避免跨AppDomain操作。

2. 封装为独立控制台程序（通用方案）
   将Python计算逻辑做成独立控制台脚本，C#通过启动多个控制台进程实现并行，彻底隔离WinForm上下文：

   • Python控制台脚本adfuller_console.py：

     import sys
     import json
     from statsmodels.tsa.stattools import adfuller
     
     def main():
         data = json.loads(sys.argv[1])
         result = adfuller(data)
         print(json.dumps(result))
     
     if __name__ == "__main__":
         main()
     

   • C#端调用代码：

     private async void btnParallelRun_Click(object sender, EventArgs e)
     {
         var dataList = new List<List<double>> { new List<double> {1,2,3,4,5}, new List<double> {6,7,8,9,10} };
         var tasks = new List<Task<string>>();
     
         foreach (var data in dataList)
         {
             var jsonData = JsonConvert.SerializeObject(data);
             tasks.Add(Task.Run(() =>
             {
                 var psi = new ProcessStartInfo
                 {
                     FileName = "python.exe",
                     Arguments = $"adfuller_console.py \"{jsonData}\"",
                     RedirectStandardOutput = true,
                     UseShellExecute = false,
                     CreateNoWindow = true
                 };
     
                 using (var process = Process.Start(psi))
                 {
                     return process.StandardOutput.ReadToEnd();
                 }
             }));
         }
     
         var results = await Task.WhenAll(tasks);
         // 解析JSON结果并处理
     }
     

内容的提问来源于stack exchange，提问作者Andreas